Advanced Endpoint Protection Test

Einführung

Bitdefender beauftragte AV-Comparatives mit der Durchführung eines fortgeschrittenen Endpunktschutz-Tests. Bitdefender GravityZone Elite Security wurde gegen von Bitdefender ausgewählte Endpunktprodukte von Wettbewerbern getestet. Die Tests wurden zwischen November 2017 und Januar 2018 durchgeführt. Das primäre Ziel war es, die automatischen Präventions- und Erkennungsfunktionen der verschiedenen Endpunktschutzlösungen zu vergleichen. Die folgenden Tests wurden durchgeführt: 

• Proaktiver Schutztest, einschließlich Falschalarmtest
• Test von PowerShell-basierten dateilosen Angriffen und dateibasierten Exploits, einschließlich Falschalarmtest
• Real-World Schutztest, einschließlich Falschalarmtest
• Ransomware-Test

Geprüfte Produkte

Alle Produkte wurden von Händlern erworben, mit Ausnahme des Bitdefender-Produkts, das vom Hersteller selbst bereitgestellt wurde. Es wurden die folgenden Produktversionen mit aktuellen Lizenzen getestet:

• Bitdefender Endpoint Security Elite 6.2
• Carbon Black Cb DEFENSE 3.0
• CrowdStrike FalconHost 3.7
• Cylance CylancePROTECT 2.0
• Kaspersky Endpoint Security for Business 10.3
• McAfee Endpoint Security 10.5.2
• SentinelOne Endpoint Protection 1.8.4
• Sophos Central Endpoint Advanced Protection and Intercept X 11.5.9-3.6.10
• Symantec Endpoint Protection Standard 14.0

SentinelOne stellte Neukunden bereits im September 2017 die Version 2.0 zur Verfügung, erzwang aber kein Konsolen-Upgrade für Bestandskunden. Für Bestandskunden war die Version 1.8.4 (die für diesen Test verwendet wurde) zum Zeitpunkt des Tests (November) die neueste verfügbare Version in der Konsole. In Version 1.8.4 erforderte die Standardrichtlinie für die Schadensbegrenzung eine Cloud-Konnektivität. In Version 2.x wurde das Konzept der Cloud-Validierungsrichtlinie verbessert.

Settings

Die folgenden Einstellungen wurden auf die Produkte angewendet. Bitte beachten Sie, dass wir bei Produkten, die standardmäßig hohe Schutzeinstellungen haben oder bei denen die entsprechenden Einstellungen nicht geändert werden können, die Konfiguration auf den Standardwerten belassen haben.

• Bitdefender: alle Funktionen aktiviert.
• CrowdStrike: Alle Einstellungen waren aktiviert und auf Maximum eingestellt.
• SentinelOne: Alle Einstellungen waren aktiviert und auf Maximum eingestellt.
• Sophos: Das Deep Learning-Modul zur Malware-Erkennung und die False Positive Suppression wurden aktiviert (diese Funktionen sind seit Anfang 2017 als Beta-Version verfügbar).
• Die Produkte von Carbon Black, Cylance, Kaspersky Lab, McAfee und Symantec wurden mit Standardeinstellungen getestet.

---

Test zum proaktiven Schutz

Bitdefender hat uns gebeten, einen proaktiven Schutztest durchzuführen, wie wir ihn früher gemacht haben (https://www.av-comparatives.org/retrospective-test/), um zu messen, wie die Produkte vor noch unbekannter Malware in Umgebungen schützen, die nicht mit dem Internet verbunden sind.

Ein Fehler im Sandbox-Treiber wurde im ersten Produkt-Build von Bitdefender entdeckt - der Fehler wurde behoben und die Ergebnisse korrigiert.

Für diesen Test haben wir die Malware-Definitionen der Produkte auf dem 14.^.von November 2017 und testeten die Produkte gegen 1.000 neue Malware-Samples, die in der Woche nach dem Einfrierdatum auftauchten. Alle Proben wurden anhand von Telemetriedaten als vor dem Einfrierdatum unbekannt eingestuft.

Um zu überprüfen, ob die Produkte nicht einfach alles blockieren, indem sie paranoide Erkennungsmethoden anwenden, wurde ein Fehlalarmtest mit 1.000 sauberen Dateien durchgeführt.

	Schutzrate	False-Positives (FPs)
Bitdefender	99.9%	8
Cylance	99.5%	9
Kaspersky Lab	97.5%	0
CrowdStrike	97.1%	0
Symantec	95.5%	0
Sophos	89.0%	0
McAfee	84.8%	0
Carbon Black	83.3%	0
SeninelOne	81.0%	0

 

---

Test von PowerShell-basierten dateilosen Angriffen und dateibasierten Exploits

Dateibasierte Malware und Ransomware wie VBS-, JS- oder MS-Office-Makros können eine Hintertür auf den Systemen der Opfer installieren und einen Kontrollkanal (C2) zum Angreifer schaffen, der sich in der Regel an einem anderen physischen Ort oder sogar in einem anderen Land befindet. Abgesehen von diesen bekannten Szenarien ist es möglich, dateilose Malware über Exploits, Remote-Aufrufe (PSexec, wmic), Taskplaner, Registry-Einträge, Arduino-Hardware (USB RubberDucky) und WMI-Aufrufe zu verbreiten. Dies kann mit integrierten Windows-Tools wie PowerShell durchgeführt werden. Diese Befehle laden die eigentliche Malware direkt aus dem Internet in den Speicher des Opfers und breiten sich mit nativen Betriebssystem-Tools weiter im lokalen Netzwerk aus oder können auf diese Weise sogar auf Rechnern persistent werden.

In Pen-Tests haben wir festgestellt, dass viele gängige AV-Produkte in solchen dateilosen Szenarien immer noch keinen ausreichenden Schutz bieten. Einige neuere Sicherheitsprodukte für Unternehmen scheinen sich jetzt auf diesen problematischen Bereich zu konzentrieren und schließen die Lücke in einigen Szenarien.

In den folgenden Tests konzentrierten wir uns auf verschiedene Befehlszeilenstapel, CMD/PS-Befehle, die Malware aus dem Netzwerk direkt in den Arbeitsspeicher herunterladen (staged) oder base64-kodierte Aufrufe. Auf diese Weise vermeiden wir den Zugriff auf die Festplatte, der normalerweise von AV-Produkten (gut) geschützt wird. Manchmal verwenden wir auch einfache Verschleierungsmaßnahmen oder ändern die Methode des Stager-Aufrufs.

Sobald die Malware ihre zweite Stufe geladen hat, wird eine http/https-Verbindung zum Angreifer hergestellt. Dieser Inside-Out-Mechanismus hat den Vorteil, dass ein C2-Kanal über die meisten NAT- und Firewall-Produkte zum Angreifer aufgebaut wird (http/https). Sobald der C2-Tunnel aufgebaut ist, kann der Angreifer alle bekannten Funktionen der gängigen C2-Produkte (Meterpreter, PowerShell Empire) nutzen. Dazu gehören z. B. Datei-Uploads/Downloads, Screenshots, Keylogging, Windows-Shell und Webcam-Snapshots.

Wenn wir in diesen Testszenarien einen solchen C2-Kanal aufbauen konnten, haben wir "" bewertet. Wenn die AV-Software diese Infektion verhindert hat, wird ein "" angezeigt. Wenn der AV-Client den Fernzugriff über WMI oder PSexec auf der Client-Firewall generell blockiert, weisen wir mit einem "" darauf hin.

Unsere C2-Empfänger haben dieselbe IP-Adresse, aber unterschiedliche Ports mit unterschiedlichen Produkten an diesen Ports abgehört.

Alle verwendeten Tools sind frei verfügbar. Ihr Quellcode ist offen und wurde für Forschungszwecke erstellt. Bösewichte missbrauchen diese Tools jedoch oft für kriminelle Zwecke. Wie hier gezeigt, ist nur ein unzureichender Schutz durch Sicherheitsprodukte zu erwarten.

Ergebnisse

Nachfolgend finden Sie die Ergebnisse für die 25 auf den nächsten Seiten beschriebenen Szenarien.

 Malware alarmiert / System geschützt - keine Sitzung [1 Punkt]
 keine Warnmeldungen, aber keine C2-Sitzung (aufgrund einer Firewall usw.) [1 Punkt]
 Malware nicht erkannt - C2-Sitzung [0 Punkte]

Cylance hatte als Standardrichtlinie die "globale Skriptblockierung" aktiviert, wodurch die meisten Fälle (außer Testszenario 14) blockiert wurden (Ergebnis: 24). Bitte beachten Sie, dass bei aktivierter "globaler Skriptblockierung" auch alle sauberen/unschädlichen Skripte standardmäßig blockiert werden (wir haben es mit 25 sauberen Skripten von Microsoft getestet - nur Cylance blockierte alle). Da hier nicht zwischen sauberen und bösartigen Skripten unterschieden wird, sind sie in der obigen Tabelle nicht enthalten.

Verwendete Testszenarien

Im Folgenden werden die 25 Testszenarien, die im PowerShell-basierten Test für dateilose Angriffe und dateibasierte Exploits verwendet wurden, kurz beschrieben. 

1.) Manueller Start mshta Meterpreter
Mshta startet eine HTML-Anwendung, in diesem Fall JavaScript-Code, der dann versucht, PowerShell über den Windows Scripting Host (WScript) auszuführen. Der PowerShell-Befehl lädt einen anderen PowerShell-Stager für Meterpreter von einem Netzwerk-Host herunter und lädt ihn in den Speicher.

2.) Manueller Start von PowerShell > staged und nicht staged
Unabhängig davon, welcher Prozess/Exploit den PowerShell-Befehl in einem realen Angriff auslöst (Office-Skript, PDF-Exploits, Aufruf durch andere Skriptinterpreter, Rubber Ducky-Tastatureingabe usw.), haben alle Angriffsvektoren eines gemeinsam: Sie führen zu einem bestimmten Zeitpunkt einen PS-Befehl aus. Wir testen den Befehl direkt auf der Kommandozeile, die eine base64-kodierte Version eines Meterpreter-Stagers erhält. Dieser Stager lädt die zweite Stufe von unserem C2-Server herunter und baut eine C2-Verbindung zum Angreifer auf. Zusätzlich haben wir das gleiche Szenario ausprobiert, aber ebenfalls als Stager, d.h. wir laden auch die erste Stufe von der Website, um die ausgelöste Nutzlast so kurz wie möglich zu halten.

3.) Ferngesteuerter WMI-Meterpreter
Fernzugriff auf einen Windows-Rechner über WMIC-Aufrufe und Nutzdaten, wie in Szenario 2 verwendet.

4.) Ferngesteuerter psexec Meterpreter
Aufrufen der in Szenario 2 verwendeten PowerShell-Nutzlast per Fernzugriff über die psexec-Schnittstelle.

5.) Entfernter WMI pse
Eine weitere entfernte WMI-Nutzlast ähnlich der in Szenario 3. Hier wird jedoch ein Tunnel zu einem PowerShell Empire Server initiiert, anstatt das Metasploit-Framework zu verwenden.

6.) PowerLurk (WMI-Ereignis)
PowerLurk ist ein kostenloses Tool zum Erstellen von WMI-Ereignissen, die wiederum den PowerShell Payload Stager initiieren. Diese Persistenzoption ist sehr schwer zu entdecken, funktioniert aber nur mit lokalen Admin-Rechten. Hier erstellen wir ein WMI-Ereignis, das den Start eines Prozesses namens "notepad.exe" und z. B. die Nutzlast aus Szenario 2 auslöst.

7.) PowerSploit Tasksched Persistence
Auch Taskplaner-Jobs sind beliebte Angriffsziele. Payloads benötigen hierbei nur minimale Benutzerrechte, um auf Systemen zu bestehen. Dies ist vergleichbar mit dem Registry-Autorun-Aufruf.

8.) WMI-Abonnement (PowerSploit)
In diesem Test startet eine Batch-Datei einen PowerShell-Befehl, der die erste Stufe des Tests herunterlädt, bei der es sich um einen PowerShell-Befehl zur Erhöhung der Berechtigungen für die zweite Stufe (ebenfalls ein PowerShell-Skript) handelt, die den eigentlichen Haupttestcode enthält. Invoke-WmiCommand führt einen PowerShell ScriptBlock auf einem Zielcomputer über WMI aus. Dazu werden die Methoden des WMI-Registry-Anbieters StdRegProv verwendet, um eine Nutzlast in einem Registry-Wert zu speichern. Der Befehl wird dann auf dem Opfersystem ausgeführt und die Ausgabe wird in einem anderen Registry-Wert gespeichert, der dann abgerufen wird.

9.) WMI-Abonnement (PowerLurk)
In diesem Test startet eine Batch-Datei einen PowerShell-Befehl, der die erste Stufe des Tests herunterlädt, bei der es sich um einen PowerShell-Befehl zur Erhöhung der Berechtigungen für die zweite Stufe handelt (bei der es sich ebenfalls um ein PowerShell-Skript handelt), das den eigentlichen Haupttestcode enthält (bei dem es sich um PowerLurk handelt). Es nimmt einen Befehl als Aktion und ein Ereignis zum Auslösen dieser Aktion und erstellt dann das WMI-Element, um eine voll funktionsfähige permanente WMI-Ereignisabonnierung zu erhalten.

10.) Geplante Aufgabe (manuell)
In diesem Test haben wir Taskplaner und Pupy kombiniert. Pupy ist ein quelloffenes, plattformübergreifendes (Windows, Linux, OSX, Android) Fernverwaltungs- und Post-Exploitation-Tool, das hauptsächlich in Python geschrieben ist.

11.) Geplante Aufgabe (Auslieferung mit Firefox-Exploit)
Dieser Test ist dem vorherigen sehr ähnlich, mit dem einzigen Unterschied, dass die Befehlsausführung durch eine Schwachstelle in Firefox 31.0 verursacht wird. Um die bekannte Sicherheitslücke in diesem Browser auszunutzen, haben wir Metasploit verwendet.

12.) PowerShell-Skript (Doc, PowerSploit ReflectivePEinjection)
Wir haben eine Microsoft Word-Dokumentdatei mit einem Makro zum automatischen Öffnen erstellt. Wenn das Dokument geöffnet wird, startet ein VBS-Skript einen PowerShell-Befehl, der die erste Stufe des Tests herunterlädt, bei dem es sich ebenfalls um einen PowerShell-Befehl zur Erhöhung der Berechtigungen für die zweite Stufe handelt, ein weiteres PowerShell-Skript, das die PowerSploit ReflectivePEinjection selbst enthält. Dieses Skript lädt auch eine base64-kodierte DLL herunter (die während der Ausführung entschlüsselt wird). Diese DLL wurde über Metasploit erstellt.

13.) PowerShell-Skript (Doc, Pupy PowerShell)
Dieser Test ist dem vorherigen sehr ähnlich, der einzige Unterschied ist die Nutzlast, die ein Pupy Stager ist.

14.) Eternalblue FuzzyBunch
In diesem Test greifen wir den Testcomputer mit FuzzyBunch (dem geleakten NSA-Toolset) über das Netzwerk (TCP/Port 445) an. Nach dem erfolgreichen Eindringen in den Testrechner wird die Komponente Peddlecheap.dll hochgeladen und darüber eine Verbindung zum Rechner hergestellt.

15.) Manueller Start: mshta (Befehl exec)
In diesem Test startet mshta eine HTML-Anwendung - in diesem Fall VBS-Code - die dann versucht, die PowerShell über den Windows Scripting Host (WScript) auszuführen. Der PowerShell-Befehl holt sich einen anderen PowerShell-Stager für erhöhte Berechtigungen und führt dann einige bösartige Befehle aus.

16.) Manueller Start: LNK (Befehl exec)
Die Datei A.lnk enthält einen PowerShell-Befehl, der einen anderen PowerShell-Stager mit erweiterten Rechten aufruft und dann einige bösartige Befehle ausführt.

17.) Manueller Start: Skript (Befehl exec)
Eine Skriptdatei (z. B. JS/VBS) enthält einen winzigen VBS-Code zur Ausführung eines PowerShell-Befehls unter Verwendung des Windows Scripting Host (WScript), um einen anderen PowerShell-Stager zur Erhöhung der Berechtigungen zu erhalten und dann einige bösartige Befehle auszuführen.

18.) Meterpreter (Makro)
Wir haben eine Microsoft Word .doc-Datei mit einem Makro für das automatische Öffnen erstellt. Wenn das Dokument geöffnet wird, startet das VBS-Skript einen PowerShell-Befehl, der ein Meterpreter-Stager ist.

19.) Meterpreter (Firefox 31.0 Exploit firefox_proxy_prototype)
Um eine bekannte Sicherheitslücke in Firefox 31.0 auszunutzen, haben wir Metasploit mit einer Nutzlast verwendet, um eine Verbindung zu unserem C2-Server herzustellen.

20.) Meterpreter (Silverlight-Exploit)
Um eine bekannte Silverlight-ActiveX-Komponentenschwachstelle im IE auszunutzen, haben wir Metasploit mit einer Nutzlast verwendet, um eine Verbindung zu unserem C2-Server herzustellen.

21.) PowerShell-Imperium (Firefox 31.0 Exploit firefox_proxy_prototype)
PowerShell Empire ist ein reiner PowerShell-Post-Exploitation-Agent, der häufig von Pentestern und Red Teams verwendet wird, aber auch von Cyber-Kriminellen mit demselben Effekt eingesetzt werden kann. In diesem Testfall haben wir die gleiche Übermittlungstechnik wie in den Meterpreter-Fällen verwendet, aber wir haben die Nutzlast durch einen PowerShell Empire Stager ersetzt.

22.) PowerShell-Reich (Batch Stager)
Wir haben den Batch Stager von PowerShell empire (ein einzeiliger Befehl) verwendet, um eine Verbindung mit dem C2-Server herzustellen und weitere Stufen des Tools zu erhalten.

23.) PowerShell-Imperium (Dokument mit Makro-Stager)
In diesem Test haben wir den Stager "doc with macro" von PowerShell empire verwendet. Als Ergebnis erhielten wir eine Microsoft Word .doc-Datei mit einem automatisch zu öffnenden Makro in ihr. Wenn das Dokument geöffnet wird, startet ein VBS-Skript und führt den einzeiligen PowerShell-Befehl aus, der eine PowerShell empire-Sitzung mit dem C2-Server startet.

24.) PowerShell-Impire Firefox verschlüsselter Exploit (ECDH IronSquirrel)
In diesem Test haben wir denselben Firefox-Exploit wie im vorherigen Test verwendet und auch dieselbe PowerShell Empire-Nutzlast eingesetzt. Durch die Verwendung von IronSquirrel in der Auslieferungsphrase verbergen wir jedoch den tatsächlichen Exploit, den wir gegen Firefox einsetzen.

25.) PowerShell-Imperium (SCT File Stager)
In diesem Test haben wir den SCT Stager von PowerShell empire verwendet. Dies ist eine Kombination aus Befehlsausführung auf dem lokalen Host und Missbrauch von regsvr32.dll und scrobj.dll, die legitime Komponenten des Windows-Betriebssystems sind. Das Launcher-Skript enthält JavaScript-Code, der die erste Stufe von PowerShell empire ausführt.

---

Real-World Protection Test

Die nachstehenden Ergebnisse basieren auf einem Testsatz von 300 Live-Testfällen, d. h. im Feld gefundenen bösartigen URLs, die mit unserem Real-World Testing Framework zwischen dem 10. November 2017 und dem 30. November 2017 getestet wurden. Zusätzlich kamen 10 bösartige Testfälle aus dem E-Mail-Vektor (E-Mails mit bösartigen Anhängen und E-Mails mit Links zu bösartigen Websites). Es wurden die gleichen Infektionsvektoren verwendet, wie sie ein typischer Nutzer im Alltag erleben würde. Die verwendeten Testfälle decken ein breites Spektrum aktueller bösartiger Websites ab und geben Aufschluss über den Schutz, den die verschiedenen Produkte (unter Verwendung aller ihrer Schutzfunktionen) beim Surfen im Internet bieten. Mit der gleichen Methodik wurde ein Fehlalarmtest mit 300 sauberen Testfällen durchgeführt.

	Schutzrate	False-Positives (FPs)
Sophos	100%	3
Bitdefender	100%	4
Kaspersky Lab	99.7%	0
Symantec	99.7%	7
Cylance	99.7%	12
CrowdStrike	97.1%	0
McAfee	95.2%	4
Carbon Black	91.9%	1
SentinelOne	84.2%	1

 

---

Ransomware-Test

Um zu messen, wie gut die Produkte Ransomware erkennen und blockieren, haben wir eine Vielzahl neuer Ransomware-Samples getestet, insgesamt 300 Testfälle zwischen 22^. November 2017 und 16^. Dezember 2017.

	Schutzrate
Bitdefender	100%
Cylance	99.3%
Kaspersky Lab	99.0%
Symantec	97.3%
McAfee	97.0%
CrowdStrike	95.7%
Sophos	95.3%
Carbon Black	86.3%
SentinelOne	76.3%

 

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2018 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(März 2018)