Advanced Threat Protection Test 2022 - Privatanwender

Einführung

"Advanced Persistent Threat" (fortgeschrittene anhaltende Bedrohung) ist ein Begriff, der üblicherweise verwendet wird, um einen gezielten Cyberangriff zu beschreiben, der eine komplexe Reihe von Methoden und Techniken einsetzt, um in Informationssysteme einzudringen. Die verschiedenen Ziele solcher Angriffe können darin bestehen, vertrauliche Informationen zu stehlen/zu ersetzen/zu beschädigen oder Sabotagefähigkeiten aufzubauen, wobei letzteres zu einer finanziellen Schädigung und einer Schädigung des Ansehens der betroffenen Organisationen führen kann. Solche Angriffe sind sehr zielgerichtet, und in der Regel werden hoch spezialisierte Tools eingesetzt. Zu den eingesetzten Tools gehören stark verschleierter Schadcode, die böswillige Verwendung gutartiger Systemtools und nicht dateibasierter Schadcode.

In unserem Advanced Threat Protection Test (Enhanced Real-World Test) verwenden wir Hacking- und Penetrationstechniken, die Angreifenden den Zugriff auf interne Computersysteme ermöglichen. Diese Angriffe lassen sich in die Cybersecurity Kill Chain von Lockheed Martin und sieben verschiedene Phasen unterteilen - jede mit einzigartigen IOCs (Indicators of Compromise) für die Opfer. Alle unsere Tests verwenden eine Teilmenge der TTP (Tactics, Techniques, Procedures), die in der MITRE ATT&CK® Frameworkgelistet sind. Ein False-Alarm Test ist ebenfalls in dem Bericht enthalten. Bei den Tests werden eine Reihe von Techniken und Ressourcen eingesetzt, die die in der realen Welt verwendete Malware imitieren. Einige Beispiele dafür sind hier aufgeführt. Wir setzen Systemprogramme ein, um die signaturbasierte Erkennung zu umgehen. Es werden gängige Skriptsprachen (JavaScript, Batch-Dateien, PowerShell, Visual Basic-Skripte usw.) verwendet. Die Tests umfassen sowohl inszenierte als auch nicht inszenierte Malware-Samples und setzen eine Verschleierung und/oder Verschlüsselung des bösartigen Codes vor der Ausführung ein (Base64, AES). Für die Verbindung zum Angreifer werden verschiedene C2-Kanäle verwendet (HTTP, HTTPS, TCP). Es werden bekannte Exploit-Frameworks verwendet (Metasploit Framework, PowerShell Empire, kommerzielle Frameworks usw.).

Zur Darstellung der Ziel-PCs verwenden wir vollständig gepatchte 64-Bit-Windows-10-Systeme, auf denen jeweils ein anderes AV-Produkt installiert ist. Im Test für Unternehmensprodukte hat der Zielbenutzer ein Standardbenutzerkonto. Im Test für Endverbraucherprodukte wird ein Administratorkonto anvisiert, obwohl jeder POC nur mit einem Standardbenutzerkonto mit mittlerer Integrität ausgeführt wird. Die Windows-Benutzerkontensteuerung ist in beiden Tests aktiviert und auf die Standardstufe eingestellt. Bei Anbietern, deren Produkte sowohl im Consumer- als auch im Enterprise-ATP-Test getestet wurden, ist zu beachten, dass die Produkte und ihre Einstellungen unterschiedlich sein können. Daher sollten die Ergebnisse der Consumer Tests nicht mit denen der Enterprise Tests verglichen werden.

Sobald die Nutzlast vom Opfer ausgeführt wird, wird ein Befehls- und Kontrollkanal (C2) zum System des Angreifers geöffnet. Damit dies geschehen kann, muss auf der Seite des Angreifers ein Listener ausgeführt werden. Dies könnte zum Beispiel ein Metasploit-Listener auf einem Kali Linux-System sein. Über den C2-Kanal hat der Angreifer vollen Zugriff auf das kompromittierte System. Die Funktionalität und Stabilität des hergestellten Zugangs wird in jedem Testfall überprüft. Wenn eine stabile C2-Verbindung hergestellt wird, gilt das System als kompromittiert.

Der Test besteht aus 15 verschiedenen Angriffen. Er konzentriert sich auf den Schutz, nicht auf die Erkennung, und wird vollständig manuell durchgeführt. Obwohl das Testverfahren notwendigerweise komplex ist, haben wir in diesem Bericht eine recht einfache Beschreibung verwendet.

Die Anbieter der AV Consumer Main-Test Series hatten vor Testbeginn die Möglichkeit, sich von diesem Test abzumelden, weshalb nicht alle Anbieter in diesem Test enthalten sind. Einige Anbieter arbeiten noch an der Perfektionierung ihrer Produkte, bevor sie an diesem erweiterten Test teilnehmen. Wir beglückwünschen alle Anbieter, die an dem Test teilgenommen haben, auch diejenigen, deren Produkte nicht die beste Bewertung erhalten haben, da sie sich bemühen, ihre Software zu verbessern.

Anwendungsbereich des Tests

Der Advanced Threat Protection (ATP) Test untersucht, wie gut die getesteten Produkte vor ganz bestimmten gezielten Angriffsmethoden schützen. Er berücksichtigt nicht die allgemeine Sicherheit, die jedes Programm bietet, oder wie gut es das System vor Malware schützt, die aus dem Internet heruntergeladen oder über USB-Geräte und gemeinsam genutzte Netzlaufwerke eingeschleust wird.

Er sollte als Ergänzung zum Real-World Protection Test und zum Malware Protection Test betrachtet werden, nicht als Ersatz für diese beiden Tests. Folglich sollten die Leser auch die Ergebnisse der anderen Tests in unserer Main-Test Series berücksichtigen, wenn sie den Gesamtschutz eines einzelnen Produkts bewerten wollen. Dieser Test hier konzentriert sich darauf, ob die Security-Produkte vor bestimmten Angriffs-/Ausbeutungstechniken schützen, die bei Advanced Persistent Threats verwendet werden. Leser, die über solche Angriffe besorgt sind, sollten die an diesem Test teilnehmenden Produkte in Betracht ziehen, deren Hersteller sich sicher waren, dass sie vor diesen Bedrohungen schützen können.

Beim ATP-Test konzentrieren wir uns auf das Testen verschiedener Arten von POC-C2-Malware, die auf unterschiedlichen Taktiken und Techniken der Angreifer basieren. Wir verwenden eine Vielzahl von Auslieferungsszenarien, um die möglichen Strategien der Angreifer zu berücksichtigen. Das Ziel des ATP-Tests ist es, die Präventionsfähigkeiten der jeweiligen Produkte zu demonstrieren. Um dies zu erreichen, verwenden wir verschiedene POCs, die alle versuchen, nach der Ausführung einen stabilen C2-Kanal zu öffnen und so eine erfolgreiche erste Kompromittierung zu simulieren. In den Fällen, in denen ein POC nicht verhindert wurde und der Angreifer in der Lage war, eine stabile C2-Sitzung zu öffnen, wurde der Ziel-PC als kompromittiert betrachtet. Der Test prüft nicht die verschiedenen Phasen eines Angriffs (wie dies in unserem EPR-Test der Fall ist).

Geprüfte Produkte

Die folgenden Hersteller haben an dem Advanced Threat Protection Test teilgenommen. Dies sind die Anbieter, die von den Schutzfunktionen ihrer Produkte gegen gezielte Angriffe überzeugt waren, dass sie an diesem öffentlichen Test teilnahmen. Alle anderen Anbieter der Consumer Main-Test Series haben sich gegen die Teilnahme am Test entschieden.

Informationen über zusätzliche Engines/Signaturen von Drittanbietern, die in den Produkten verwendet werden: G Data und VIPRE die Bitdefender-Engine verwenden. AVG ist eine umbenannte Version von Avast.

• Avast Free Antivirus 22.9 – 22.10
• AVG Free AntiVirus 22.9 – 22.10
• Avira Prime 1.1
• Bitdefender Internet Security 26.0
• ESET Internet Security 15.2
• G Data Total Security 25.5
• Kaspersky Internet Security 21.3
• McAfee Total Protection 26.4
• Microsoft Defender 4.18

Alle Consumer-Produkte wurden mit Standardeinstellungen getestet.

Testverfahren

Skripte wie VBS, JS oder MS Office-Makros können ausgeführt werden und eine dateilose Hintertür auf den Systemen der Opfer installieren und einen Kontrollkanal (C2) zum Angreifer schaffen, der sich in der Regel an einem anderen physischen Ort und vielleicht sogar in einem anderen Land befindet. Abgesehen von diesen bekannten Szenarien ist es möglich, Malware über Exploits, Remote-Aufrufe (PSexec, wmic), Taskplaner, Registrierungseinträge, Arduino-Hardware (USB RubberDucky) und WMI-Aufrufe zu verbreiten. Dies kann mit integrierten Windowstools wie PowerShell erfolgen. Diese Methoden laden die eigentliche Malware direkt aus dem Internet in den Speicher des Zielsystems und breiten sich mit systemeigenen Tools weiter im lokalen Netzwerk aus. Auf diese Weise können sie sich sogar auf den Rechnern festsetzen.

Dateilose Angriffe

Im Bereich der Malware gibt es viele (sich möglicherweise überschneidende) Klassifizierungskategorien, und es kann unter anderem zwischen dateibasierter und dateiloser Malware unterschieden werden. Seit 2017 ist eine deutliche Zunahme von dateilosen Bedrohungen zu verzeichnen. Ein Grund dafür ist die Tatsache, dass sich solche Angriffe aus Sicht der Angreifer als sehr erfolgreich erwiesen haben. Ein Faktor für ihre Effektivität ist die Tatsache, dass dateilose Bedrohungen nur im Speicher des kompromittierten Systems operieren, was es für Sicherheitslösungen schwieriger macht, sie zu erkennen. Es ist wichtig, dass dateilose Bedrohungen sowohl von Security-Produkten für Privatanwender als auch von Unternehmensprodukten erkannt werden, und zwar aus den unten genannten Gründen.

Angriffsvektoren und -ziele

Bei Penetrationstests stellen wir fest, dass bestimmte Angriffsvektoren von Sicherheitslösungen noch nicht ausreichend abgedeckt werden und viele gängige AV-Produkte immer noch keinen ausreichenden Schutz bieten. Einige Security-Produkte für Unternehmen haben sich in diesem Bereich verbessert und bieten in einigen Szenarien einen besseren Schutz. Wie bereits erwähnt, sind wir der Meinung, dass auch Endverbraucherprodukte ihren Schutz vor solchen bösartigen Angriffen verbessern müssen; Privatanwender können auf dieselbe Weise angegriffen werden und werden auf die gleiche Weise. Jeder kann aus einer Vielzahl von Gründen ins Visier genommen werden, einschließlich "Doxing" (Veröffentlichung vertraulicher persönlicher Informationen) als Racheakt. Auch Angriffe auf die Heimcomputer von Geschäftsleuten sind ein naheliegender Weg, um an deren Unternehmensdaten zu gelangen.

Angriffsmethoden

Der Test zum Schutz vor fortgeschrittenen Bedrohungen umfasst auch verschiedene Befehlszeilen-Stacks, CMD/PS-Befehle, mit denen Malware aus dem Netz direkt in den Arbeitsspeicher heruntergeladen (staged) oder base64-kodiert aufgerufen werden kann. Mit diesen Methoden wird der Zugriff auf die Festplatte, die (normalerweise) gut von Security-Produkten geschützt wird, vollständig vermieden. Manchmal verwenden wir einfache Verschleierungsmaßnahmen oder ändern auch die Methode des Stager-Aufrufs. Sobald die Malware ihre zweite Stufe geladen hat, wird eine http/https-Verbindung zum Angreifer hergestellt. Dieser Inside-Out-Mechanismus hat den Vorteil, dass ein C2-Kanal zum Angreifer aufgebaut wird, der den Schutzmaßnahmen der meisten NAT- und Firewall-Produkte entgeht. Sobald der C2-Tunnel aufgebaut ist, kann der Angreifer alle bekannten Kontrollmechanismen der gängigen C2-Produkte (Meterpreter, PowerShell Empire, etc.) nutzen. Dazu gehören z.B. Datei-Uploads/Downloads, Screenshots, Keylogging, Windows Shell (GUI) und Webcam-Snapshots. Wir erwarten, dass Angriffe unabhängig davon blockiert werden, wo/wie sie gehostet werden und woher/wie sie ausgeführt werden. Wenn ein Angriff nur unter ganz bestimmten Umständen erkannt wird, würden wir sagen, dass das Produkt keinen wirksamen Schutz bietet.

False Positives (False Alarm) Test

Ein Security-Produkt, das 100% bösartige Angriffe blockiert, aber auch legitime (nicht schädliche) Aktionen blockiert, kann eine enorme Störung darstellen. Daher führen wir im Rahmen des Advanced Threat Protection Test einen False Positives Test durch, um zu prüfen, ob die getesteten Produkte in der Lage sind, schädliche von nicht schädlichen Aktionen zu unterscheiden. Andernfalls könnte ein Security-Produkt leicht 100% der schädlichen Angriffe blockieren, die z.B. E-Mail Anhänge, Skripte und Makros verwenden, indem es solche Funktionen einfach blockiert. Für viele Nutzer könnte dies die Erledigung ihrer normalen täglichen Aufgaben unmöglich machen. Daher werden die Ergebnisse des False-Alarm Tests in der Bewertung des Produkts berücksichtigt.

Wir stellen außerdem fest, dass eine Warnung, z.B. vor dem Öffnen harmloser E-Mail-Anhänge, zu einem "Junge, der Wolf rief"-Szenario führen kann. Nutzer, die mit einer Reihe unnötiger Warnungen konfrontiert werden, gehen früher oder später davon aus, dass alle Warnhinweise Fehlalarme sind, und ignorieren daher eine echte Warnung, wenn sie auftaucht.

Testfälle

Wir haben fünf verschiedene Initial Access Phasesauf die 15 Testfälle verteilt (z.B. kamen 3 Testfälle per Anhang über E-Mail/Spear-Phishing).

1. Trusted Relationship: "Angreifende können in Organisationen eindringen oder diese anderweitig ausnutzen, die Zugang zu den beabsichtigten Opfern haben. Der Zugang über die Beziehung zu vertrauenswürdigen Dritten nutzt eine bestehende Verbindung aus, die möglicherweise nicht geschützt ist oder weniger sorgfältig geprüft wird als die Standardmechanismen, mit denen man sich Zugang zu einem Netzwerk verschafft."
2. Valid accounts: "Angreifende können die Anmeldedaten eines bestimmten Privatnutzer- oder Dienstkontos mithilfe von Credential-Access-Techniken stehlen oder Anmeldedaten zu einem früheren Zeitpunkt in ihrem Erkundungsprozess durch Social Engineering abfangen [...]."
3. Replication Through Removable Media: "Angreifende können in Systeme eindringen [...], indem sie Malware auf Wechseldatenträger kopieren [...] und sie so umbenennen, dass sie wie eine legitime Datei aussieht, um Benutzer dazu zu bringen, sie auf einem anderen System auszuführen. [...]"
4. Phishing: Spearphishing Attachment: "Spearphishing Attachment ist [...] die Verwendung von Malware im Anhang einer E-Mail. [...]"
5. Phishing: Spearphishing Link: "Beim Spearphishing mit einem Link [...] werden Links verwendet, um in E-Mails enthaltene Malware herunterzuladen [...]."

Die 15 Testszenarien, die in diesem Test verwendet wurden, werden im Folgenden kurz beschrieben:

1. Diese Bedrohung wird über einen Spearphishing-Link eingeführt. Eine bösartige Binärdatei führt x86-Shellcode aus, um einen Meterpreter-C2-Kanal über http zu öffnen.
2. Diese Bedrohung wird über einen Spearphishing-Link eingeführt. Eine bösartige JavaScript-Datei führt x64-Shellcode aus, um einen Meterpreter-C2-Kanal über http zu öffnen.
3. Diese Bedrohung wird über einen Spearphishing-Link eingeführt. Ein bösartiges verschleiertes JavaScript injiziert x64-Shellcode in einen Office-Prozess, um einen Meterpreter-C2-Kanal über http zu öffnen.
4. Diese Bedrohung wird über gültige Konten eingeführt. Eine bösartige HTA-Datei öffnet einen Meterpreter-C2-Kanal über http.
5. Diese Bedrohung wird über gültige Konten eingeführt. Ein bösartiger PowerShell-Befehl mit einigen Fähigkeiten zur Umgehung der Verteidigung öffnet einen Meterpreter-C2-Kanal über http.
6. Diese Bedrohung wird über gültige Konten eingeführt. Eine bösartige Batch-Datei öffnet einen Empire C2-Kanal über http unter Verwendung eines nicht standardisierten Ports.
7. Diese Bedrohung wird über eine vertrauenswürdige Beziehung eingeführt. Eine bösartige, verschleierte Binärdatei mit einigen Fähigkeiten zur Umgehung der Verteidigung und zum Spoofing von Dateierweiterungen öffnet einen PowerShell Empire C2-Kanal über http unter Verwendung eines nicht standardmäßigen Ports.
8. Diese Bedrohung wird über Trusted Relationship eingeführt. Eine bösartige CPL-Datei führt eine PowerShell-Nutzlast aus, die einen Empire C2-Kanal über http unter Verwendung eines nicht standardmäßigen Ports öffnet.
9. Diese Bedrohung wird über Trusted Relationship eingeführt. Eine bösartige XSL-Datei wird über WMI ausgeführt, die einen verschleierten Empire C2-Kanal über http unter Verwendung eines nicht standardmäßigen Ports öffnet.
10. Diese Bedrohung wird über einen Spearphishing-Anhang eingeführt. Eine bösartige Binärdatei mit einer gefälschten Dateierweiterung führt eine Empire-Nutzlast aus, um einen Empire-C2-Kanal über http unter Verwendung eines nicht standardmäßigen Ports zu öffnen.
11. Diese Bedrohung wird über einen Spearphishing-Anhang eingeschleust. Eine bösartige JavaScript-Datei mit einigen Fähigkeiten zur Umgehung der Verteidigung ermöglicht die Ausführung von Schadcode über die Kontrollanwendung und öffnet einen C2-Kanal zu einem kommerziellen C2-Framework über https.
12. Diese Bedrohung wird über einen Spearphishing-Anhang eingeführt. Eine bösartige Binärdatei mit einigen Fähigkeiten zur Umgehung der Verteidigung öffnet über https einen C2-Kanal zu einem kommerziellen C2-Framework.
13. Diese Bedrohung wird über Wechseldatenträger eingeschleust. Eine bösartige DLL öffnet einen C2-Kanal über https zu einem kommerziellen C2-Framework.
14. Diese Bedrohung wird über Wechseldatenträger eingeführt. Eine bösartige Binärdatei mit fortgeschrittenen Fähigkeiten zur Umgehung der Verteidigung öffnet einen C2-Kanal über https zu einem kommerziellen C2-Framework.
15. Diese Bedrohung wird über Wechseldatenträger eingeschleust. Ein bösartiges Office-Dokument wird in einen anderen Prozess im Benutzerbereich injiziert und öffnet über https einen C2-Kanal zu einem kommerziellen C2-Framework.

False-Alarm Test: Es wurden verschiedene Fehlalarmszenarien verwendet, um festzustellen, ob ein Produkt bestimmte Aktionen übermäßig blockiert (z.B. durch Blockieren von E-Mail-Anhängen, Kommunikation, Skripten usw.). Keines der getesteten Produkte zeigte in den verwendeten Fehlalarm-Testszenarien ein Over-Blocking-Verhalten. Sollten wir im Laufe des Tests feststellen, dass die Produkte ihren Schutz an unsere Testumgebung anpassen, würden wir Gegenmaßnahmen einsetzen, um diese Anpassungen zu umgehen, um sicherzustellen, dass jedes Produkt den Angriff auch wirklich erkennen kann, im Gegensatz zur Testsituation.

Test-Ergebnisse

Nachfolgend finden Sie die Ergebnisse für die 15 Angriffe, die in diesem Test verwendet wurden:

Test-Szenarien

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	FPs	Ergebnis
Avast																N	10
AVG																N	10
Avira																Y	N/A
Bitdefender																N	13
ESET																N	14
G Data																N	12
Kaspersky																N	12
McAfee																N	3
Microsoft																N	12

 

Key
	Bedrohung blockiert, keine C2-Session, System geschützt	1 Punkt
	Kein Alert angezeigt, aber keine C2-Session aufgebaut, System geschützt	1 Punkt
	Bedrohung nicht blockiert, C2-Session aufgebaut	0 Punkte
	Schutzergebnis ungültig, da auch nicht-schädliche Skripte/Funktionen blockiert wurden	N/A

 

Unserer Meinung nach sollte das Ziel eines jeden AV/EPP/EDR-Systems darin bestehen, Angriffe oder andere Malware so schnell wie möglich zu erkennen und zu verhindern. Mit anderen Worten: Wenn der Angriff vor, bei oder kurz nach der Ausführung erkannt wird und damit z.B. die Öffnung eines Befehls- und Kontrollkanals verhindert wird, besteht keine Notwendigkeit, Aktivitäten nach der Ausnutzung zu verhindern. Eine gute Alarmanlage sollte losgehen, wenn jemand in Ihr Haus einbricht, und nicht warten bis die Sachen gestohlen werden.

Ein Produkt, das bestimmte legitime Funktionen (z.B. E-Mail-Anhänge oder Skripte) blockiert, würde nur als "Tested" eingestuft werden.

Beobachtungen zu Consumer-Produkten

In diesem Abschnitt geben wir einige zusätzliche Informationen, die für die Leser von Interesse sein könnten.

Erkennungs-/Blockierungsphasen
Pre-Execution (PRE): wenn die Bedrohung noch nicht ausgeführt wurde und auf dem System inaktiv ist (statisch).
On-Execution (ON): unmittelbar nachdem die Bedrohung ausgeführt wurde (dynamisch).
Post-Execution (POST): nachdem die Bedrohung ausgeführt wurde und ihre Aktionen erkannt wurden (im Speicher).

Test-Szenarien

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Avast

POST

PRE

–

PRE

ON

ON

ON

ON

ON

ON

–

–

–

–

ON

AVG

POST

PRE

–

PRE

ON

ON

ON

ON

ON

ON

–

–

–

–

ON

Avira

EIN*

EIN*

–

PRE*

–

–

–

–

EIN*

EIN*

–

EIN*

PRE*

–

??*

Bitdefender

PRE

PRE

ON

PRE

ON

ON

ON

PRE

PRE

PRE

ON

PRE

PRE

–

–

ESET

POST

ON

PRE

PRE

ON

PRE

ON

POST

PRE

ON

PRE

–

ON

ON

ON

G Data

PRE

PRE

ON

PRE

POST

ON

–

PRE

PRE

ON

ON

PRE

ON

–

–

Kaspersky

PRE

ON

ON

ON

–

ON

–

POST

PRE

–

PRE

ON

ON

ON

ON

McAfee

–

–

–

ON

–

ON

–

–

ON

–

–

–

–

–

–

Microsoft

PRE

PRE

PRE

PRE

ON

ON

PRE

POST

ON

POST

PRE

–

PRE

–

–

 

Avast, AVG: Die meisten Entdeckungen erfolgten bei der Ausführung.

Avira: Die Erkennungen erfolgten meist bei der Ausführung durch Avira. In einem Fall verhinderte Avira das Öffnen des Word-Dokuments, das sich auch nach 20 Minuten Wartezeit nicht öffnen ließ. Dies ist ein sehr seltsames Verhalten, zumal das Produkt keine Erkennung/Warnung ausgibt. *) In mindestens einem Fall hat Avira nicht zwischen bösartigen und nicht-bösartigen Skripten/Aktionen unterschieden, so dass die Ergebnisse nicht beweisen, wie gut es Angriffe blockieren kann, ohne auch legitime Skripte/Aktionen zu blockieren.

Bitdefender: Die Erkennungen erfolgten entweder vor oder bei der Ausführung.

ESET: Die meisten Entdeckungen erfolgten vor oder während der Ausführung, zwei nach der Ausführung.

G Data: Die meisten Entdeckungen erfolgten vor oder während der Ausführung, eine nach der Ausführung.

Kaspersky: Die meisten Entdeckungen erfolgten vor oder während der Ausführung, eine nach der Ausführung.

McAfee: Die Erkennungen erfolgten bei der Ausführung.

Microsoft: Die meisten Entdeckungen erfolgten vor oder während der Ausführung, zwei nach der Ausführung.

Alle getesteten Anbieter führen laufend Produktverbesserungen durch, so dass zu erwarten ist, dass viele der im Test nicht berücksichtigten Angriffe inzwischen abgedeckt sind.

Über diesen Test

Der Advanced Threat Protection Test für Consumer-Produkte ist ein optionaler Teil der Public Main-Test Series. Wir gratulieren den Anbietern, die sich zur Teilnahme entschlossen haben. Sie haben offensichtlich hart an ihren Produkten gearbeitet und nutzen diese öffentlichen Tests von Drittanbietern als unabhängigen Nachweis dafür, dass ihre Produkte das tun, was sie behaupten. Aufgrund der Komplexität des Tests ist eine Automatisierung nicht möglich, und er muss vollständig manuell durchgeführt werden, was seine Durchführung sehr kostenintensiv macht. Die teilnehmenden Hersteller der Consumer Main-Test Series hatten jedoch die Möglichkeit, ohne zusätzliche Kosten an dem öffentlichen Advanced Threat Protection Test 2022 teilzunehmen.

Da einige der im Test verwendeten Angriffsmethoden legitime Systemprogramme und -techniken nutzen, wäre es für den Anbieter relativ einfach, solche Angriffe zu stoppen, indem er z.B. einfach die Verwendung dieser legitimen Prozesse blockiert. Dies würde jedoch dazu führen, dass das betreffende Produkt wegen der False-Positives Rate herabgestuft werden würde, so wie ein Security-Programm herabgestuft werden würde, das z.B. alle der unbekannten ausführbaren Programmdateien blockiert. Ebenso wäre in diesem Test die Verhinderung eines Angriffs, z.B. durch einfaches blockieren von verwendeten Servern, Dateien oder E-Mails, die von einem bestimmten Domainnamen stammen, als Mittel zur Verhinderung eines gezielten Angriffs nicht zulässig. Ebenso wenig akzeptieren wir einen Ansatz, der nicht zwischen schädlichen und nicht schädlichen Prozessen unterscheidet, sondern z.B. die Administration auffordert, diejenigen auf eine Whitelist zu setzen, die erlaubt sein sollen.

In unserer Consumer Main-Test Series werden die Produkte mit ihren Standardeinstellungen getestet. In der Business Main-Test Series dürfen die Anbieter die Produkte nach eigenem Ermessen konfigurieren - wie es bei Security-Produkten für Unternehmen in der Praxis üblich ist. Für alle Tests der Reihe wird jedoch genau das gleiche Produkt und die gleiche Konfiguration verwendet. Würden wir nicht darauf bestehen, könnte ein Anbieter die Schutzeinstellungen erhöhen oder Funktionen aktivieren, um in den Real-World und Malware-Protection Tests gut abzuschneiden, sie aber für die Performance- und False-Alarm Tests herunterfahren/deaktivieren, um schneller und weniger fehleranfällig zu erscheinen. Im wirklichen Leben können die Nutzer nur eine Einstellung gleichzeitig haben, so dass sie in der Lage sein sollten, zu erkennen, ob hohe Schutzwerte eine langsamere Systemperformance oder niedrigere False-Positives Rate einen geringeren Schutz bedeuten.

Wir hatten Anfragen von Anbietern bezüglich der Angriffsmethoden, die in dem Test verwendet werden sollten. Wir gaben keine spezifischen Details zu den Angriffsmethoden bekannt, aber nach dem Test stellten wir jedem teilnehmenden Anbieter genügend Daten zur Verfügung, um die fehlenden Testfälle zu demonstrieren.

Der Test ist sehr anspruchsvoll, spiegelt aber gleichzeitig auch realistische Szenarien wider. Penetrationstester sehen die realen Fähigkeiten von Produkten in ihren Tests jeden Tag. Mit unserem Vergleichstest versuchen wir, gleiche Bedingungen zu schaffen, die es uns ermöglichen, die Schutzmöglichkeiten der verschiedenen Produkte gegen solche Angriffe fair zu vergleichen. So können die Nutzer sehen, wie gut sie geschützt sind, und die Hersteller können ihre Produkte gegebenenfalls in Zukunft verbessern.

Dieser Test ist zwar für Endverbraucherprodukte gedacht, aber die verwendeten Angriffstechniken sind die gleichen wie bei unserem ATP-Test für Unternehmen. Hacker können hoch motiviert sein, die Heimcomputer bestimmter hochrangiger Personen anzugreifen, z.B. Politiker oder sehr wohlhabende Personen. Wir stellen auch fest, dass gezielte Angriffe auf Unternehmen damit beginnen können, dass sie beispielsweise die Kontrolle über den Heimcomputer des Geschäftsführers übernehmen.

Was die im Test verwendeten Windows-Benutzerkonten anbelangt, so erforderte keines der Testszenarien Administratorrechte auf dem Zielsystem. Daher machte es aus Sicht des Angreifers keinen Unterschied, ob der Benutzer mit einem Administratorkonto (wie beim Consumer Test) oder einem Standardbenutzerkonto (wie beim Enterprise Test) angemeldet war.

Bei einigen der Angriffe wurden, wie in den Beschreibungen der Testfälle erwähnt, Erstzugriffsvektoren wie vertrauenswürdige Beziehungen und gültige Konten verwendet. Das heißt, der Angreifer verfügte bereits über die erforderlichen Benutzeranmeldeinformationen, um mit dem fortgeschrittenen Angriff fortzufahren. Verschiedene Studien zeigen, dass solche Szenarien (z.B. die Verwendung gestohlener Anmeldeinformationen für den Erstzugang) heutzutage sehr häufig vorkommen.

In einigen Fällen wurden bei dem Test umgeleitete Laufwerke verwendet. Da der ATT&CK-Framework keine spezielle Kategorie für solche Fälle vorsieht, sind wir der Meinung, dass sie am besten in die Kategorie "Wechseldatenträger" fallen, was wir in den Beschreibungen vermerkt haben. Dennoch machte die Art und Weise, wie die Malware in das System eingeschleust wurde, in der Praxis keinen technischen Unterschied.

Im Allgemeinen haben wir von den Security-Anbietern positive Rückmeldungen über die gründliche und realistische Methodik dieses Tests erhalten. Wir freuen uns, dass eine Reihe von Anbietern, die in diesem Jahr nicht am Test teilgenommen haben, den Schutz ihrer Produkte gegen gezielte Angriffe aus dem wirklichen Leben verbessern und im nächsten Jahr am Test teilnehmen wollen. Wir haben auch einige Verbesserungsvorschläge einiger Anbieter berücksichtigt und werden uns bemühen, diese gegebenenfalls in den Test des nächsten Jahres aufzunehmen.

 

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2022 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(November 2022)