Enhanced Real-World Test 2019 – Consumer

Einführung

Advanced Persistent Threat (APT) ist ein Begriff, der üblicherweise zur Beschreibung eines gezielten Cyberangriffs verwendet wird, bei dem eine Reihe komplexer Methoden und Techniken eingesetzt werden, um in Informationssysteme einzudringen. Die verschiedenen Ziele solcher Angriffe können darin bestehen, vertrauliche Informationen zu stehlen, auszutauschen oder zu beschädigen oder Sabotagefähigkeiten aufzubauen, wobei letzteres zu einer finanziellen Schädigung und einer Schädigung des Ansehens der betroffenen Organisationen führen kann. Solche Angriffe sind sehr zielgerichtet, und in der Regel werden hochspezialisierte Tools eingesetzt. Zu den eingesetzten Tools gehören stark verschleierter Schadcode, die böswillige Verwendung gutartiger Systemtools und nicht dateibasierter Schadcode.

In unserem "Enhanced Real-World Test" verwenden wir Hacking- und Penetrationstechniken, die es Angreifern ermöglichen, auf interne Computersysteme zuzugreifen. Diese Angriffe lassen sich in die Cybersecurity Kill Chain von Lockheed Martin und sieben verschiedene Phasen unterteilen - jede mit einzigartigen IOCs (Indicators of Compromise) für die Opfer. Alle unsere Tests verwenden eine Teilmenge der TTP (Tactics, Techniques, Procedures), die in der MITRE ATT&CK Frameworkgelistet sind. Ein False-Alarm Test ist ebenfalls in dem Bericht enthalten.

Bei den Tests wird eine Reihe von Techniken und Ressourcen eingesetzt, die die in der realen Welt verwendete Malware nachahmen. Einige Beispiele dafür sind hier aufgeführt. Wir setzen Systemprogramme ein, um die signaturbasierte Erkennung zu umgehen. Es werden gängige Skriptsprachen (JavaScript, Batch-Dateien, PowerShell, Visual Basic-Skripte usw.) verwendet. Die Tests umfassen sowohl inszenierte als auch nicht inszenierte Malware-Samples und setzen eine Verschleierung und/oder Verschlüsselung des schadhaften Codes vor der Ausführung ein (Base64, AES). Für die Verbindung zum Angreifenden werden verschiedene C2-Channels verwendet (HTTP, HTTPS, TCP). Es werden bekannte Exploit-Frameworks verwendet (Metasploit Framework, Meterpreter, PowerShell Empire, Puppy usw.).

Um das Zielsystem darzustellen, verwenden wir vollständig gepatchte 64-Bit-Windows-10-Systeme, auf denen jeweils ein anderes AV-Produkt installiert ist. In dem Enterprise-Test für Unternehmen hat die Zielgruppe ein Standard-Benutzerkonto. Im Consumer-Test für Privatanwender wird ein Administratorkonto das Ziel. Aus diesem Grund und aus anderen Gründen (z.B. möglicherweise unterschiedliche Einstellungen) sollten die Ergebnisse des Consumer-Tests nicht mit denen des Enterprise-Tests verglichen werden.

Sobald der Payload vom Opfer ausgeführt wird, wird ein Befehls- und Kontrollkanal (C2) zum System des Angreifenden geöffnet. Damit dies geschehen kann, muss auf der Seite des Angreifenden ein Listener ausgeführt werden. Dies könnte zum Beispiel ein Metasploit-Listener auf einem Kali Linux-System sein. Über den C2-Channel hat der Angreifende vollen Zugriff auf das kompromittierte System. Die Funktionalität und Stabilität dieses etablierten Zugriffs wird in jedem Testfall überprüft.

Der Test besteht aus 15 verschiedenen Angriffen. Für künftige Tests planen wir, zusätzliche, detailliertere Informationen, Komplexität und Abdeckung im öffentlichen Bericht bereitzustellen. Dieser Test konzentriert sich derzeit auf den Schutz, nicht auf die Erkennung. Er wird vollständig manuell durchgeführt.

Die AV-Anbieter der Main-Test Series hatten die Möglichkeit, sich vor Beginn des öffentlichen Tests von diesem Test abzumelden, weshalb nicht alle Anbieter in diesem Test enthalten sind.

Anwendungsbereich des Tests

Der erweiterte Real-World-Test untersucht, wie gut die getesteten Produkte vor ganz bestimmten gezielten Angriffsmethoden schützen. Er berücksichtigt nicht die allgemeine Sicherheit, die jedes Programm bietet, oder wie gut es das System vor Malware schützt, die aus dem Internet heruntergeladen oder über USB-Geräte eingeschleust wird.

Er sollte als Ergänzung zum Real-World Protection Test und zum Malware Protection Test betrachtet werden, nicht als Ersatz für diese beiden Tests. Folglich sollten die Leser auch die Ergebnisse der anderen Tests in unserer Main-Test Series berücksichtigen, wenn sie den Gesamtschutz eines einzelnen Produkts bewerten. Dieser Test konzentriert sich darauf, ob die Security-Produkte vor bestimmten Angriffs-/Ausbeutungstechniken schützen, die in APTs verwendet werden. Leser, die über solche Angriffe besorgt sind, sollten die an diesem Test teilnehmenden Consumer-Produkte in Betracht ziehen, deren Hersteller sich sicher waren, dass sie im Test vor diesen Bedrohungen schützen können. Wir gehen davon aus, dass im nächsten Jahr noch mehr Anbieter am erweiterten Real-World-Test teilnehmen werden.

Unterschiede zwischen dem "MITRE-Test" und unserem "Enhanced Real-World Test"

Unser Enhanced Real-World Test nutzt zwar Elemente des MITRE ATT&CK-Frameworks, unterscheidet sich aber deutlich vom "MITRE-Test". Beim "MITRE-Test" werden EDR-Systeme (Endpoint Detection and Response) in Situationen bewertet, in denen die jeweiligen Anbieter den durchgeführten Angriff aktiv in Echtzeit überwachen, was manchmal auch als "Red and Blue Team Testing" bezeichnet wird. Der Schwerpunkt liegt dabei auf der Erkennung und Protokollierung von Angriffsprozessen (Visibilität), der Alarmierung von Administratoren und der Bereitstellung von Daten zur Unterstützung manueller Maßnahmen zur Bedrohungsjagd und -bekämpfung.

Für den "MITRE-Test" schalten die Anbieter ihre Produkte in den "Log-only"-Modus, um so viel wie möglich über die Angriffskette herauszufinden. Solche Tests haben durchaus ihre Berechtigung und liefern wertvolle Daten. Der Schutz einzelner Systeme vor einer Infektion und damit vor System-/Datenschäden ist jedoch nicht das Hauptziel eines solchen Tests. Wir weisen auch darauf hin, dass MITRE kein abschließendes Bewertungs- oder Rangordnungssystem anbietet, sondern lediglich Rohdaten zur Analyse bereitstellt.

Unser Enhanced Real-World Test hingegen zielt darauf ab, festzustellen, wie gut ein Sicherheitsprodukt das System, auf dem es installiert ist, im täglichen Gebrauch schützt. Die entscheidende Frage ist, ob das Produkt das System vor dem Angriff schützt, wobei es nicht darauf ankommt, welche Schutzkomponente den Angriff blockiert oder in welchem Stadium der Angriff gestoppt wird, solange das System nicht kompromittiert wird (diese Art von Granularität könnte in zukünftigen erweiterten Real-World-Tests zu Informationszwecken hinzugefügt werden). Wir berücksichtigen in unserem Test auch Fehlalarme.

Geprüfte Produkte

Die folgenden Anbieter haben am Enhanced Real-World Test teilgenommen. Dies sind die Anbieter, deren Produkte im internen Vortest gut abgeschnitten haben und die von den Schutzfunktionen ihrer Produkte gegen dateilose Angriffe überzeugt genug waren, um an diesem öffentlichen Test teilzunehmen. Alle anderen Anbieter der Haupttestreihe für Verbraucher haben sich gegen die Teilnahme am Test entschieden.

• Avast Free Antivirus 19.8
• AVG Free AntiVirus 19.8
• Bitdefender Internet Security 24.0
• ESET Internet Security 13.0
• F-Secure SAFE 17.7
• Kaspersky Internet Security 20.0

Alle Consumer-Produkte wurden mit Standardeinstellungen getestet.

Testverfahren

Skripte wie VBS, JS oder MS Office-Makros können ausgeführt werden und eine dateilose Hintertür auf den Systemen der Opfer installieren und einen Kontrollkanal (C2) zum Angreifer schaffen, der sich in der Regel an einem anderen physischen Ort und vielleicht sogar in einem anderen Land befindet. Abgesehen von diesen bekannten Szenarien ist es möglich, dateilose Malware über Exploits, Remote-Aufrufe (PSexec, wmic), Taskplaner, Registrierungseinträge, Arduino-Hardware (USB RubberDucky) und WMI-Aufrufe zu verbreiten. Dies kann mit integrierten Windows-Tools wie PowerShell erfolgen. Diese Methoden laden die eigentliche Malware direkt aus dem Internet in den Speicher des Zielsystems und breiten sich mit systemeigenen Tools weiter im lokalen Netzwerk aus. Sie können sich auf diese Weise sogar auf den Rechnern festsetzen. Bei diesem Test wird keine portable ausführbare (PE) Malware verwendet.

Dateilose Angriffe

Im Bereich der Malware gibt es viele (sich möglicherweise überschneidende) Klassifizierungskategorien, und es kann unter anderem zwischen dateibasierter und dateiloser Malware unterschieden werden. Seit 2017 ist eine deutliche Zunahme von dateilosen Bedrohungen zu verzeichnen. Ein Grund dafür ist die Tatsache, dass sich solche Angriffe aus Sicht der Angreifenden als sehr erfolgreich erwiesen haben. Ein Faktor für ihre Effektivität ist die Tatsache, dass dateilose Threats nur im Speicher des kompromittierten Systems operieren, was es für Security-Lösungen schwieriger macht, sie zu erkennen. Es ist wichtig, dass dateilose Bedrohungen sowohl von Security-Programmen für Privatanwender als auch von Produkten für Unternehmen erkannt werden, und zwar aus den unten genannten Gründen.

Angriffsvektoren und -ziele

Bei Penetrationstests stellen wir fest, dass bestimmte Angriffsvektoren von Security-Programmen noch nicht ausreichend abgedeckt werden und viele gängige AV-Produkte immer noch keinen ausreichenden Schutz bieten. Einige Security-Produkte für Unternehmen haben sich in diesem Bereich verbessert und bieten in einigen Szenarien einen besseren Schutz. Wie bereits erwähnt, sind wir der Meinung, dass auch Consumer-Produkte ihren Schutz vor solchen böswilligen Angriffen verbessern müssen; auch Heimanwender können auf die gleiche Weise angegriffen werden. Jeder kann aus den unterschiedlichsten Gründen angegriffen werden, z.B. durch "Doxing" (Veröffentlichung vertraulicher persönlicher Informationen) als Racheakt. Ein Angriff auf Privatgeräte von Geschäftsleuten ist dabei ebenfalls ein naheliegender Weg, um an die Daten ihres Unternehmens zu gelangen.

Angriffsmethoden

Der erweiterte Praxistest umfasst auch verschiedene Befehlszeilenstapel, CMD/PS-Befehle, mit denen Malware aus dem Netz direkt in den Arbeitsspeicher heruntergeladen werden kann (staged) oder base64-kodierte Aufrufe. Mit diesen Methoden wird der Zugriff auf die Festplatte, die (normalerweise) gut von Sicherheitsprodukten geschützt wird, vollständig vermieden. Manchmal verwenden wir einfache Verschleierungsmaßnahmen oder ändern auch die Methode des Stager-Aufrufs. Sobald die Malware ihre zweite Stufe geladen hat, wird eine http/https-Verbindung zum Angreifer aufgebaut. Dieser Inside-Out-Mechanismus hat den Vorteil, dass ein C2-Kanal zum Angreifer aufgebaut wird, der den Schutzmaßnahmen der meisten NAT- und Firewall-Produkte entgeht. Sobald der C2-Tunnel aufgebaut ist, kann der Angreifer alle bekannten Kontrollmechanismen der gängigen C2-Produkte (Meterpreter, PowerShell Empire, etc.) nutzen. Dazu gehören z. B. Datei-Uploads/Downloads, Screenshots, Keylogging, Windows-Shell (GUI) und Webcam-Snapshots. Alle verwendeten Tools sind frei verfügbar. Ihr Quellcode ist offen und wurde zu Forschungszwecken erstellt. Allerdings missbrauchen die Bösewichte diese Tools oft für kriminelle Zwecke.

False Positives (False Alarm) Test

Ein Security-Produkt, das 100% böswillige Angriffe blockiert, aber auch legitime (nicht böswillige) Aktionen blockiert, kann eine enorme Störung darstellen. Daher führen wir im Rahmen des erweiterten Praxistests einen False Positives Test durch, um zu prüfen, ob die getesteten Produkte in der Lage sind, bösartige von nicht-bösartigen Aktionen zu unterscheiden. Andernfalls könnte ein Security-Produkt leicht 100% der bösartigen Angriffe blockieren, die z.B. E-Mail-Anhänge, Skripte und Makros verwenden, indem es solche Funktionen einfach blockiert. Für viele Nutzer könnte dies die Erledigung ihrer normalen täglichen Aufgaben unmöglich machen. Daher werden die False-Positives-Raten in der Testnote des Produkts mit einbezogen.

Wir stellen außerdem fest, dass eine Warnung, z.B. vor dem Öffnen harmloser E-Mail-Anhänge, zu einem "Junge, der Wolf rief"-Szenario führen kann. Nutzer, die mit einer Reihe unnötiger Warnungen konfrontiert werden, gehen früher oder später davon aus, dass alle Warnhinweise Fehlalarme sind, und ignorieren daher eine echte Warnung, wenn sie auftaucht.

Testfälle

Wir haben fünf verschiedene Initial Access Phasesauf die 15 Testfälle verteilt (z.B. kamen 3 Testfälle per Anhang über E-Mail/Spear-Phishing).

1. Trusted Relationship: "Angreifer können in Organisationen eindringen oder diese anderweitig ausnutzen, die Zugang zu den beabsichtigten Opfern haben. Der Zugang über die Beziehung zu vertrauenswürdigen Dritten nutzt eine bestehende Verbindung aus, die möglicherweise nicht geschützt ist oder weniger sorgfältig geprüft wird als Standardmechanismen, um Zugang zu einem Netzwerk zu erhalten." (Quelle: https://attack.mitre.org/techniques/T1199/)
2. Valid accounts: “Angreifer können die Anmeldedaten eines bestimmten Benutzer- oder Dienstkontos mithilfe von Anmeldedatenzugriffstechniken stehlen oder Anmeldedaten zu einem früheren Zeitpunkt in ihrem Erkundungsprozess durch Social Engineering abfangen [...]". (Quelle: https://attack.mitre.org/techniques/T1078/)
3. Replication Through Removable Media: “Angreifer können in Systeme eindringen [...], indem sie Malware auf Wechseldatenträger kopieren [...] und sie so umbenennen, dass sie wie eine legitime Datei aussieht, um Benutzer dazu zu bringen, sie auf einem anderen System auszuführen. [...]" (Quelle: https://attack.mitre.org/techniques/T1091/)
4. Spearphishing Attachment: "Spearphishing Attachment ist [...] die Verwendung von Malware im Anhang einer E-Mail. [...]" (Quelle: https://attack.mitre.org/techniques/T1193/)
5. Spearphishing Link: "Beim Spearphishing mit einem Link [...] werden Links verwendet, um in E-Mails enthaltene Malware herunterzuladen [...]" (Quelle: https://attack.mitre.org/techniques/T1192/)

Die 15 Testszenarien (PowerShell-basierte dateilose Angriffe und dateibasierte Exploits), die in diesem erweiterten Praxistest verwendet wurden, werden im Folgenden kurz beschrieben.

1) Diese Bedrohung wird über eine "Trusted Relationship" eingeführt. MSHTA ruft eine HTML-Anwendung auf, die einen PowerShell-Befehl über den Windows Scripting Host ausführt. Dieser Testfall wurde mit Unicorn erstellt.

2) Diese Bedrohung wird über eine "Trusted Relationship" eingeführt. Eine Batch-Datei wird mit einem verschlüsselten PowerShell-Befehl ausgeführt. Der PowerShell-Prozess injiziert das Payload in den Speicher. Dieser Testfall wurde mit Unicorn erstellt.

3) Diese Bedrohung wird über eine "Trusted Relationship" eingeführt. Ein Microsoft Word-Dokument mit einem bösartigen Makro startet einen PowerShell-Prozess, der das Payload in den Speicher lädt. Dieser Testfall wurde mit Unicorn erstellt.

4) Diese Bedrohung wird über "Valid Account"eingeschleust. Ein VBScript ruft einen PowerShell-Prozess auf und führt das Payload aus. Dieser Testfall wurde mit Empire erstellt.

5) Diese Bedrohung wird über "Valid Accounts" eingeführt. Es wird eine Technik zur Änderung von Verknüpfungen verwendet, um eine Hintertür zu generieren. Dieser Testfall wurde mit Empire erstellt.

6) Diese Bedrohung wird über "Valid Accounts" eingeführt. MSHTA ruft eine HTML-Anwendung auf, die einen verschleierten PowerShell-Befehl über den Windows Scripting Host ausführt. Dieser Testfall wurde mit Empire erstellt.

7) Diese Bedrohung wird über "Replication Through Removable Media" (USB) eingeschleust. Eine Batch-Datei führt eine verschlüsselte Payload über die PowerShell-Engine aus. Dieser Testfall wurde mit Empire erstellt.

8) Diese Bedrohung wird über "Replication Through Removable Media" (USB) eingeschleust. Ein verschlüsseltes bösartiges Microsoft Word-Dokumentmakro startet einen PowerShell-Prozess und lädt das Payload in den Speicher. Dieser Testfall wurde mit Empire erstellt.

9) Diese Bedrohung wird über "Replication Through Removable Media" (USB) eingeführt. Ein PowerShell-Skript führt ein PowerShell-Payload im Speicher aus. Dieser Testfall wurde mit Unicorn erstellt.

10) Diese Bedrohung wird über ein "Spearphishing Attachment" eingeführt. Ein VBScript führt ein verschleiertes Payload über die PowerShell-Engine aus. Dieser Testfall wurde mit Metasploit Meterpreter erstellt.

11) Diese Bedrohung wird über ein "Spearphishing Attachment" eingeschleust. Eine verschleierte Microsoft Word-Makro-aktivierte Datei startet einen PowerShell-Prozess, der das Payload in den Speicher lädt. Dieser Testfall wurde mit Empire erstellt.

12) Diese Bedrohung wird über ein "Spearphishing Attachment" eingeführt. Ein JavaScript führt einen C#-Code über den Windows Scripting Host aus. Dieser Testfall wurde mit SharpShooter erstellt.

13) Diese Bedrohung wird über einen "Spearphishing Link" eingeschleust. Ein JavaScript führt einen verschleierten C#-Code über den Windows Scripting Host aus. Dieser Testfall wurde mit Metasploit Meterpreter erstellt.

14) Diese Bedrohung wird über einen "Spearphishing Link" eingeschleust. Eine Microsoft Excel-Makro-aktivierte Datei injiziert verschleierten C#-Code in den Speicher. Dieser Testfall wurde mit Metasploit Meterpreter erstellt.

15) Diese Bedrohung wird über einen "Spearphishing Link" eingeführt. Ein PowerShell-Skript injiziert ein verschleiertes PowerShell-Payload in den Speicher. Dieser Testfall wurde mit Metasploit Meterpreter erstellt.

False-Alarm Test: Es wurden verschiedene Fehlalarmszenarien verwendet, um festzustellen, ob ein Produkt bestimmte Aktionen übermäßig blockiert (z.B. durch Blockieren von E-Mail-Anhängen, Kommunikation, Skripten usw.). Keines der getesteten Produkte zeigte ein Over-Blocking-Verhalten in den verwendeten Fehlalarm-Testszenarien.

Was wird von den verschiedenen Testfällen abgedeckt?

Unsere Tests verwenden eine Teilmenge der TTP (Tactics, Techniques, Procedures), die in der MITRE ATT&CK Frameworkzu finden sind. In Zukunft werden wir vielleicht mehr Techniques und Tactics verwenden (wie zum Beispiel Privilege Escalation, Credential Access, Lateral Movement und Impact) und nähere Angaben dazu machen, wo der Angriff gestoppt wird (entweder als Teil dieses Berichts oder in einem separaten Testbericht). In diesem Jahr decken die oben genannten 15 Testfälle die in der nachstehenden Tabelle aufgeführten Punkte ab:

Initial Access	Execution	Persistence	Defense Evasion	Discovery	Collection	Command and Control	Exfiltration
Replication Through Removable Media	Mshta	Shortcut Modification	Mshta	System Information Discovery	Data from Local System	Commonly Used Port	Automated Exfiltration
Spearphishing-Anhang	PowerShell		Masquerading			Data Encoding	Data Compressed
Spearphishing-Link	Skripting		Obfuscated Files or Information			Data Obfuscation	Exfiltration Over Command and Control Channel
Trusted Relationship			Skripting			Multi-Stage Channels
Valid Accounts			Template Injection			Uncommonly Used Port

 

Test-Ergebnisse

Nachfolgend finden Sie die Ergebnisse für die 15 Angriffe, die in diesem Test verwendet wurden:

Test-Szenarien

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	FPs	Ergebnis
Avast																N	14
AVG																N	14
Bitdefender																N	13
ESET																N	15
F-Secure																N	13
Kaspersky																N	15

 

Key
	Threat erkannt, keine C2-Session, System geschützt	1 Punkt
	Kein Alert angezeigt, aber keine C2-Session aufgebaut, System geschützt	1 Punkt
	Threat nicht erkannt, C2-Session aufgebaut	0 Punkte

 

Unserer Meinung nach sollte das Ziel eines jeden AV/EPP/EDR-Systems darin bestehen, APTs oder andere Malware so früh wie möglich zu erkennen und zu verhindern. Mit anderen Worten: Wenn die APT vor, bei oder kurz nach der Ausführung erkannt wird und somit die Öffnung eines Befehls- und Kontrollkanals verhindert wird, besteht keine Notwendigkeit, Aktivitäten nach der Ausnutzung zu verhindern. Ein guter Einbrecheralarm sollte ausgelöst werden, wenn jemand in Ihr Haus einbricht, und nicht erst, wenn er anfängt, Dinge zu stehlen.

Ein Produkt, das bestimmte Funktionen blockiert, z.B. E-Mail-Anhänge oder Skripte, würde nur als "Tested" eingestuft werden. Keines der getesteten Produkte zeigte jedoch ein solches Verhalten in den Fehlalarm-/Funktionsblockierungsszenarien, die in diesem speziellen Test verwendet wurden.

Wenn ein benutzerabhängiger Alarm angezeigt würde, würden wir einen halben Punkt vergeben. In diesem speziellen Test gab es jedoch keine solchen Fälle.

Beobachtungen zu den Consumer-Produkten

In diesem Abschnitt berichten wir über alle zusätzlichen Informationen, die für die Leser von Interesse sind.

Avast, AVG: In drei Fällen gab es keinen Alarm, aber auch keine stabile C2-Sitzung.

Bitdefender: Fast alle Erkennungen erfolgten beim Zugriff, d.h. bevor die Bedrohung ausgeführt wurde.

ESET, Kaspersky: Alle Bedrohungen wurden blockiert: die meisten während der Ausführung und einige wenige, bevor die Bedrohung ausgeführt wurde (On-Access).

F-Secure: Alle Entdeckungen erfolgten während der Ausführung der Bedrohungen. In einem Fall gab es keinen Alarm, aber auch keine stabile C2-Sitzung.

Über diesen Test

Der Enhanced Real-World-Test für Consumer-Produkte ist ein neuer und optionaler Teil der öffentlichen Main-Test Series. Wir beglückwünschen die Anbieter, die sich für die Teilnahme entschieden haben. Sie haben offensichtlich hart an ihren Produkten gearbeitet und nutzen diese öffentlichen Tests von Dritten als unabhängigen Nachweis dafür, dass ihre Produkte halten, was sie versprechen.

Aufgrund der Komplexität des Tests ist eine Automatisierung nicht möglich, und er muss vollständig manuell durchgeführt werden, was seine Durchführung kostenintensiv macht. Die teilnehmenden AV-Anbieter der Main-Test Series (sowohl Consumer- als auch Enterprise-Produkte) hatten jedoch die Möglichkeit, ohne zusätzliche Kosten am Enhanced Real-World Test von 2019 teilzunehmen.

In unserer Consumer Main-Test Series werden die Produkte mit ihren Standardeinstellungen getestet. In der Business Main-Test Series können die Anbieter die Produkte so konfigurieren, wie sie es für richtig halten - wie es bei Security-Produkten für Unternehmen in der Praxis üblich ist. Bei jeder der beiden Main-Test Series wird jedoch genau das gleiche Produkt und die gleiche Konfiguration für alle Tests der jeweiligen Reihe verwendet. Würden wir nicht darauf bestehen, könnte ein Hersteller die Schutzeinstellungen hochdrehen oder Funktionen aktivieren, um in den Real-World Tests und Malware Protection Tests gut abzuschneiden, sie aber für die Performance Tests und False Positive Tests herunterdrehen/deaktivieren, um schneller und weniger fehleranfällig zu erscheinen. Im wirklichen Leben können Nutzer immer nur eine Konfiguration haben, so dass sie in der Lage sein sollten, zu erkennen, ob hohe Schutzwerte eine langsamere Systemperformance oder niedrigere False-Positives-Rate einen geringeren Schutz bedeuten.

Einige Anbieter baten um genaue Angaben zu Tag und Uhrzeit der Testdurchführung, damit sie die Angriffe in Echtzeit überwachen und mit ihren Produkten interagieren können, wenn sie es für sinnvoll halten. Da das Ziel des Tests die Messung der Schutzfähigkeiten und nicht die Analyse der Angriffsmethoden ist, haben wir den Anbietern keine Vorabinformationen darüber gegeben, wann der Test durchgeführt werden würde. Im wirklichen Leben teilen die Angreifer ihren Opfern nicht mit, wann sie angreifen werden, so dass die Produkte die ganze Zeit über Schutz bieten müssen. Wir hatten auch Anfragen von Anbietern bezüglich der Angriffsmethoden, die in dem Test verwendet werden sollten. Da es bei dem Test eher um Schutz als um Analyse/Sichtbarkeit geht, haben wir auch hier keine Einzelheiten zu den Angriffsmethoden bekannt gegeben.

Wir haben jedoch alle Anbieter der beiden Main-Test Series eingeladen, an einem internen Vortest teilzunehmen, in dem die allgemeinen Richtlinien für die Durchführung des Tests aufgezeigt wurden und die Anbieter aufgefordert wurden, Feedback zu geben, wie der Test verbessert werden könnte. Jedem Anbieter wurden die Ergebnisse für sein jeweiliges Produkt privat mitgeteilt. Aufgrund der Rückmeldungen, die wir erhielten, haben wir einige Änderungen an der Testmethodik vorgenommen, wenn wir der Meinung waren, dass dies im wirklichen Interesse der Nutzer lag und zur Förderung der Cybersecurity im Allgemeinen beitrug.

Der Test ist sehr anspruchsvoll, spiegelt aber gleichzeitig auch realistische Szenarien wider. Wir haben von den technischen Abteilungen vieler Anbieter positive Rückmeldungen erhalten. Penetrationstester sehen die realen Fähigkeiten von Produkten in ihren Tests jeden Tag. Mit unserem Vergleichstest versuchen wir, gleiche Bedingungen zu schaffen, die es uns ermöglichen, die Schutzfunktionen der verschiedenen Produkte gegen solche Angriffe zu vergleichen. Auf diese Weise können die Nutzer sehen, wie gut sie geschützt sind, und die Hersteller können ihre Produkte gegebenenfalls in Zukunft verbessern. Um sich einen Überblick über die Schutzfähigkeiten der getesteten Produkte zu verschaffen, sollten die Leser auch die Ergebnisse der anderen Tests der Main-Test Series berücksichtigen.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2019 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Dezember 2019)