Comparison of “Next-Generation” Security Products 2016

Einführung

"Next Generation" ist ein vager Begriff, der Sicherheitsprodukte beschreibt, die nach einem anderen Prinzip als herkömmliche Antiviren-Software arbeiten. Derzeit sind diese Produkte hauptsächlich für Unternehmensnetzwerke und nicht für Privatanwender erhältlich. Sie können durch die Überwachung des eingehenden Datenverkehrs im Netzwerk funktionieren, wie es bei der Barracuda NextGen Firewall der Fall ist, oder durch die Installation von Client-Software, die zentral von einer Konsole aus verwaltet und überwacht wird, wie es bei den anderen Produkten der Fall ist, die wir hier getestet haben. Die letztere Variante soll die Antiviren-Software auf den Client-PCs ersetzen, während die erstere weiterhin in Verbindung mit herkömmlichen AV-Produkten verwendet werden kann.

Dieser Bericht ist das erste Mal, dass AV-Comparatives Sicherheitsprodukte der nächsten Generation getestet und in einen öffentlichen vergleichenden Testbericht aufgenommen hat. Wir hatten uns an viele führende Anbieter in diesem Bereich gewandt und sie um ihre Teilnahme an dem Test gebeten. Leider weigerten sich eine Reihe von Anbietern, an dieser unabhängigen Bewertung teilzunehmen. Da ihre Produkte nicht in diesen öffentlichen Bericht aufgenommen werden konnten, sind wir nicht in der Lage, sie als wertvolle Sicherheitsprodukte der nächsten Generation anzuerkennen. Wir freuen uns auf ihre zukünftige Teilnahme an unabhängigen Tests.

Für diese Bewertung haben MRG Effitas und AV-Comparatives ihre Kräfte gebündelt und einen gemeinsamen Test durchgeführt. Die Prüfungen und Malware-Schutz-Tests wurden von AV-Comparatives durchgeführt, während der Exploit-Test von MRG Effitas durchgeführt wurde.

• Detailed Report (EN)

Geprüfte Produkte

Die folgenden Produkte wurden unter Windows 10 64-Bit geprüft/getestet und sind in diesem öffentlichen Bericht enthalten:

• Barracuda NextGen Firewall VF100 7.0.1
• CrowdStrike Falcon Host 2.0.19.3908
• Palo Alto Network Traps 3.4.0.15678
• SentinelOne Endpoint Protection Platform 1.6.2.5021

Testverfahren

Einrichtung des Exploit-Tests

Ttungszyklus für jeden Testfall

• Es wurde ein Endpunkt für eine virtuelle Windows 10 64-Bit-Maschine (VirtualBox) mit Standardinstallation erstellt. Der standardmäßige HTTP/HTTPS-Proxy wurde so konfiguriert, dass er auf einen Proxy verweist, der auf einem anderen Computer läuft. Der SSL/TLS-Verkehr wurde auf dem Proxy nicht abgefangen.

• Die Sicherheit des Betriebssystems wurde durch die folgenden Maßnahmen geschwächt:
  • Windows Defender wurde deaktiviert
  • Internet Explorer SmartScreen wurde deaktiviert
  • Es wurde anfällige Software installiert, siehe "Installierte Software" für Details.
  • Windows Update wurde deaktiviert

• Von diesem Punkt aus wurden verschiedene Snapshots der virtuellen Maschine erstellt, mehrere mit verschiedenen Endpunktschutzprodukten und einer ohne. Durch dieses Verfahren wurde sichergestellt, dass das Basissystem in allen Testsystemen exakt gleich war.

  Für diesen Test wurden die folgenden Endpunkt-Sicherheitssuites mit der folgenden Konfiguration definiert:

  • Kein zusätzlicher Schutz
    dieser Schnappschuss wurde verwendet, um das Betriebssystem zu infizieren und die Wiedergabe des Exploits zu überprüfen
  • Produkt 1 installiert
  • Produkt 2 installiert
  • …

Die Endpunktsysteme wurden mit der Standardkonfiguration installiert, die Entfernung potenziell unerwünschter Software war aktiviert, und wo die Option während der Installation angeboten wurde, war die Teilnahme an der Cloud/Community aktiviert.

• Die Exploit-Quellen lassen sich in zwei Kategorien einteilen: Bedrohungen aus der freien Wildbahn und Metasploit. VBscript-basierte Downloader und Office-Makro-Dokumente wurden ebenfalls berücksichtigt, da diese Bedrohungen normalerweise nicht in anderen Testszenarien enthalten sind.

• Die virtuelle Maschine wurde in einen sauberen Zustand zurückversetzt und der Datenverkehr wurde vom Proxyserver wiedergegeben. Das Abspielen bedeutete, dass der Browser wie zuvor verwendet wurde, aber anstelle der ursprünglichen Webserver beantwortete der Proxyserver die Anfragen auf der Grundlage des aufgezeichneten Datenverkehrs. Wenn der "nachgespielte Exploit" in der Lage war, das Betriebssystem zu infizieren, wurde der Exploit-Datenverkehr als Quelle für die Tests markiert. Diese Methode garantiert, dass die Endpunktschutzsysteme genau denselben Datenverkehr sehen, selbst wenn das ursprüngliche Exploit-Kit während der Tests ausfällt. Dieses Exploit-Replay ist NICHT zu verwechseln mit dem Replay-Typ tcpreplay.

• Nachdem der neue Exploit-Verkehr genehmigt war, wurden die Endpunktschutzsysteme getestet. Bevor die Exploit-Site getestet wurde, wurde überprüft, ob der Endpunktschutz auf die neueste Version mit den neuesten Signaturen aktualisiert worden war und ob alle Cloud-Verbindungen funktionierten. Wenn ein Neustart des Systems erforderlich war, wurde es neu gestartet. Bei der Proxy-Einrichtung wurden nicht übereinstimmende Anfragen durchgelassen und SSL/TLS wurde nicht entschlüsselt, um die AV-Konnektivität zu gewährleisten. Während des Tests wurde auf dem Host-Rechner VPN verwendet. Wenn eine Benutzerinteraktion über den Endpunktschutz erforderlich war (z. B. Besuch einer Website nicht empfohlen usw.), wurde die Aktion Blockieren/Verweigern gewählt. Wenn eine Benutzerinteraktion von Windows aus erforderlich war, wählten wir die Optionen Ausführen/Erlauben. Auf dem System liefen keine anderen Prozesse, mit Ausnahme von Process Monitor/Process Explorer von SysInternals und Wireshark (beide in nicht standardmäßigen Verzeichnissen installiert).

• Nach dem Aufrufen der Exploit-Site wurde das System auf neue Prozesse, geladene DLLs oder C&C-Verkehr überwacht.

• Der Prozess ging zurück zu Schritt 5, bis alle Testfälle der Exploit-Site erreicht waren.

Die folgende Hardware wurde der virtuellen Maschine zugewiesen:

• 4 GB RAM-Speicher
• 2 dedizierte Prozessoren von AMD FX 8370E CPU
• 65 GB freier Speicherplatz
• 1 Netzwerkschnittstelle
• SSD-Laufwerk

Das VirtualBox-Host- und Gastsystem für den Exploit-Test wurde so gehärtet, dass gängige Virtualisierungs- und Sandbox-Erkennungstechniken das System nicht als Analysesystem erkennen können.

Testfälle

Malware Protection Test

Alle Tests wurden mit einer aktiven Internetverbindung (d. h. mit Cloud-Verbindung) durchgeführt. Wir haben die hier untersuchten Produkte wie folgt getestet:

• RTTL: Die 500 häufigsten bösartigen Muster laut der AMTSO Real-Time Threat List (RTTL) waren ausgeführt auf dem System.

• AVC: 500 der neuesten und am weitesten verbreiteten bösartigen Muster aus unserer eigenen Datenbank wurden ausgeführt auf dem System. Einige der getesteten Produkte funktionieren auch als Reaktion auf einen Vorfall, bei dem das System kompromittiert ist, aber eine Erkennungsmeldung in der Webschnittstelle angezeigt wird. Die zusätzliche Erkennungsrate für den AVC-Score ist in Klammern angegeben.

• WPDT: 50 bösartige Websites wurden mit Hilfe unserer Realitätsnahe Tests Framework, das die Aktivitäten eines typischen Computernutzers (ob zu Hause oder im Büro) beim Surfen im Internet simuliert. Der Test wurde parallel zu "herkömmlichen" Antivirenprodukten für Unternehmen durchgeführt, um einen Vergleich der Schutzfunktionen von herkömmlichen und neuen Produkten zu ermöglichen.

• FPseinen Fehlalarmtest, bei dem 1000 saubere Dateien ausgeführt auf dem System wurde ebenfalls durchgeführt. Der False-Positive-Test misst die Fähigkeit der Produkte, saubere von bösartigen Dateien zu unterscheiden.

• Exploit-Test21 Exploits wurden für den Exploit-Test verwendet.

Verwendete Einstellungen

Einige Anbieter nahmen vor den Tests per Fernzugriff Konfigurationsänderungen an ihren Produkten vor. Schutzrelevante Änderungen waren wie folgt:

• Barracuda: Alle Typen erkennen eingestellt auf Ja, URL-Filter Aktiviert eingestellt auf Wahr.

• CrowdStrike: Datei-Attribut-Analyse und File Analysis eingestellt auf Aggressivund alle verfügbaren Schutzoptionen aktiviert.

• Palo Alto: WildFire-Aktivierung eingestellt auf On, Aktion ist das Präventions, Aktion wird auf Grauware angewendet, Lokale Analyse ist das aktiviert, Dateien für WildFire hochladen ist das aktiviert.

• SentinelOne: Verdächtige Aktivitäten anzeigen ermöglicht, Autoimmun ermöglicht, Actions eingestellt auf Quarantine.

Analyse der im Exploit-Test verwendeten Exploit-Kits

Leider war der Zeitpunkt des Tests und die Betriebssystemkonfiguration nicht günstig für den Exploit-Test. Zum Zeitpunkt des Tests dominierten zwei Exploit-Kits das Internet. Sundown und RIG. Leider verwendete RIG alte (meist Flash) Exploits, die die Testkonfiguration überhaupt nicht ausnutzen konnten. Deshalb war es wichtig, mit Metasploit und einigen nicht mehr ganz frischen, aber auch nicht zu alten Exploit-Kits (Neutrino) zu testen. Wir haben auch zwei Beispiele verwendet, bei denen es sich nicht um einen Exploit selbst handelt, sondern um Nicht-PE-Downloader, wie ein Office-Makro und einen WSF-Downloader. Wir haben diese in den Mix aufgenommen, weil diese exotischen Dateitypen oft von Real-World-Tests ausgeschlossen werden, aber in der freien Wildbahn weit verbreitet sind.

Es wurden insgesamt 21 Testfälle getestet.

• 8 Sonnenuntergang EK
• 5 Neutrino EK
• 4 Metasploit
• 1 Powershell-Imperium
• 1 Metasploit-Makro
• 1 Locky Malspam WSF
• 1 unbekannt EK

Diese Exploit-Kits zielten auf Adobe Flash, Internet Explorer, Microsoft Office (Makro), Silverlight, Firefox und Java ab.

Installierte Software

Für den Exploit-Testteil wurde die folgende anfällige Software installiert:

Anbieter	Produkt	Version		Anbieter	Produkt	Version
Adobe	Flash Player ActiveX - eingebaut	21.0.0.182		Microsoft	SilberLicht	5.1.10411.0
AutoIT	AutoIT	3.3.12.0		Mozilla	Firefox	31.0
Microsoft	Internet Explorer	11.162.10586		Oracle	Java	1.7.0.17
Microsoft	Büro	2016

 

Ranking-System

Bewertung der Schutz-/Erkennungsergebnisse von Exploits

Wir haben die folgenden Phasen definiert, in denen der Exploit durch das Endpunktschutzsystem verhindert werden kann:

1. Blockieren der URL (infizierte URL, Exploit-Kit-URL, Umleitungs-URL, Malware-URL) durch die URL-Datenbank (lokal oder Cloud). Ein typisches Ergebnis ist z. B., dass der Browser die Meldung "Die Website wurde vom Endpunktschutz blockiert" anzeigt. Je früher die Bedrohung in der Exploit-Kette erkannt wird, desto einfacher ist es, die bösartigen Dateien vom System zu entfernen, desto weniger Informationen können von den Angreifern vom System gesammelt werden und desto geringer ist das Risiko eines Angriffs auf die jeweilige Sicherheitslösung auf einem Endpunkt.
2. Analyse und Blockierung der Seite, die einen bösartigen HTML-Code, JavaScripts (Weiterleitungen, iframes, verschleierte JavaScripts usw.) oder Flash-Dateien enthält.
3. Blockieren des Exploits, bevor der Shellcode ausgeführt wird.
4. Blockieren der heruntergeladenen Nutzlast durch Analyse der Malware, bevor sie gestartet wird. Beispielsweise kann der Download der Malware-Nutzlast (entweder die Klartext-Binärdatei oder die verschlüsselte/kodierte Binärdatei) im Proxy-Datenverkehr gesehen werden, aber es wird kein Malware-Prozess gestartet.
5. Die Ausführung der Malware wird blockiert (kein Prozess erstellen, Bibliothek laden).
6. Die abgeworfene Malware hat einen erfolgreichen Start hingelegt.
7. Die abgelegte Malware startet erfolgreich, aber nach einiger Zeit wird die gesamte abgelegte Malware beendet und gelöscht ("Malware startet, wird aber später blockiert").

Die "Schutz"-Wertung der Ergebnisse wurde wie folgt berechnet:

• Wenn kein bösartiger, nicht vertrauenswürdiger Code auf dem Endpunkt ausgeführt werden konnte, wurden den Produkten 5 Punkte zuerkannt. Dies kann durch Blockieren des Exploits in Schritt 1, 2 oder 3 erreicht werden.
• Wenn bösartiger, nicht vertrauenswürdiger Code auf dem System ausgeführt wurde (Shellcode des Exploits, Downloader-Code), aber die endgültige Malware nicht starten konnte, wurden dem Produkt 4 Punkte zuerkannt. Dies kann durch Blockieren des Exploits in Schritt 4 oder 5 erreicht werden.
• Wenn sowohl der Shellcode des Exploits (oder der Downloader-Code) als auch die endgültige Malware ausgeführt werden konnten, erhielt das Produkt 0 Punkte.
• Wenn in irgendeinem Stadium der Infektion eine Warnmeldung mit mittlerem oder hohem Schweregrad ausgelöst wurde (auch wenn die Infektion nicht verhindert wurde), wurde dem Produkt 1 Punkt zuerkannt.

Die Bewertung der Ergebnisse für den "Nachweis" wurde wie folgt berechnet:

• Wenn in irgendeinem Stadium der Infektion eine Warnmeldung mit mittlerem oder hohem Schweregrad ausgelöst wurde (auch wenn die Infektion nicht verhindert wurde), wurde dem Produkt 1 Punkt zuerkannt.

Wir haben dieses Scoring aus den folgenden Gründen verwendet:

• Der Test diente der Verhinderung von Exploits und nicht der Erkennung von Malware auf dem System.
• Es ist nicht möglich festzustellen, welche Art von Befehlen ausgeführt oder welche Informationen durch die Malware exfiltriert wurden. Die Datenexfiltration kann nicht rückgängig gemacht oder behoben werden.
• Es kann nicht festgestellt werden, ob die Malware beendet wurde, weil das Endpunkt-Schutzsystem sie blockiert hat, oder ob die Malware beendet wurde, weil sie Überwachungsprozesse oder Virtualisierung erkannt hat, oder ob sie beendet wurde, weil sie ihre Zielumgebung nicht gefunden hat.
• Die Überprüfung der Malware-Beseitigung kann zu zeitaufwändig sein, und die Bewertung der Beseitigung ist in einer Unternehmensumgebung sehr schwierig. In den letzten Jahren haben wir beispielsweise mehrere Warnungen gesehen, die besagen, dass das Endpunkt-Schutzsystem eine URL/Seite/Exploit/Malware blockiert hat, die Malware aber trotzdem auf dem System ausgeführt werden konnte. In anderen Fällen wurde der Malware-Code vom Endpunkt-Schutzsystem von der Festplatte gelöscht, aber der Malware-Prozess lief weiter, oder einige Teile der Malware wurden erkannt und beendet, andere hingegen nicht.
• In einer komplexen Unternehmensumgebung schützen mehrere Netzwerk- und Endpunktprodukte die Endpunkte. Wenn ein Netzwerkprodukt eine Warnung ausgibt, dass eine bösartige Binärdatei auf den Endpunkt heruntergeladen wurde, müssen Administratoren die Warnungen mit den Warnungen des Endpunktschutzes abgleichen oder eine vollständige forensische Untersuchung durchführen, um sicherzustellen, dass keine Malware auf dem Endpunkt ausgeführt wurde. Dieser Prozess kann zeit- und ressourcenaufwändig sein, weshalb es besser ist, den Exploit zu blockieren, bevor der Shellcode startet.
• Normalerweise ist der Exploit-Shellcode nur ein einfacher Schritt zum Herunterladen und Ausführen einer neuen Malware, aber bei gezielten Angriffen kann der Exploit-Shellcode komplexer sein.

Wir sind der Meinung, dass eine solche Nulltoleranzbewertung Unternehmen bei der Auswahl der besten Produkte anhand einfacher Messgrößen hilft. Die manuelle Überprüfung der erfolgreichen Beseitigung von Malware in einer Unternehmensumgebung ist ein sehr ressourcenintensiver Prozess und kostet viel Geld. Unserer Meinung nach muss Malware blockiert werden, bevor sie eine Chance hat, ausgeführt zu werden, und es sollte kein Exploit-Shellcode ausgeführt werden können.

Bewertung der Ergebnisse des Malware-Schutzes

Die Bewertung des Malware-Schutzes ist einfach: Wenn das System durch die Malware kompromittiert wurde, erhielt das Produkt 0 Punkte, und wenn die Malware blockiert oder beseitigt wurde, wurde 1 Punkt vergeben.

Auswertung der Falsch-Positiv-Ergebnisse

Für den Test der Fehlalarme wurde dasselbe Bewertungsprinzip wie oben beschrieben angewandt. In diesem Test wurden 1000 nicht bösartige Anwendungen verwendet, um die Fähigkeit der Produkte zu messen, saubere von bösartigen Dateien zu unterscheiden.

Test-Ergebnisse

Malware-Schutz und Falschalarmtest

Im Folgenden finden Sie die Ergebnisse, die die Produkte der nächsten Generation in den von AV-Comparatives durchgeführten Tests zum Schutz vor Malware erzielt haben. Im Allgemeinen sind die Schutzraten recht hoch und vergleichbar mit den Ergebnissen, die herkömmliche Business-Produkte erreichen.

Die Werte in Klammern zeigen die Gesamtentdeckungsrate, wenn Benachrichtigungen in der Weboberfläche als Entdeckungen gezählt werden (d. h. Fälle, in denen das System kompromittiert wurde, aber eine Warnung in der Weboberfläche angezeigt wurde).

	RTTL	AVC	WPDT	FPs
Barracuda	100%	100%	100%	0
CrowdStrike	98.2%	98.2% (99.2%)	98.0%	0
Palo Alto	99.0%	97.6% (99.0%)	100%	4
SeninelOne	100%	100%	98% (100%)	0

Exploit-Test

Im Folgenden sind die Ergebnisse aufgeführt, die die Produkte der nächsten Generation bei den von MRG Effitas durchgeführten Exploit-Tests erzielt haben.

	Schutzrate (Erkennungsrate)
Barracuda	100% (100%)
CrowdStrike	70% (100%)
Palo Alto	82% (86%)
SentinelOne	28% (57%)

Anmerkungen

Einige der Produkte in dieser Übersicht bieten möglicherweise nur die Protokollierung und Analyse von Bedrohungen (nützlich für die Reaktion auf Zwischenfälle), anstatt tatsächlich vor ihnen zu schützen. In einigen Fällen sind die Schutzfunktionen standardmäßig deaktiviert und müssen vom Administrator aktiviert und konfiguriert werden, bevor sie genutzt werden können. Nicht alle der hier behandelten Produkte sind als Testversion erhältlich. Einige "Next-Gen"-Anbieter versuchen sogar zu vermeiden, dass ihre Produkte öffentlich getestet oder unabhängig geprüft werden. Zu diesem Zweck verkaufen sie ihre Produkte nicht an Testlabors und können sogar einen Lizenzschlüssel widerrufen - ohne Rückerstattung -, wenn sie herausfinden oder vermuten, dass er anonym von einem Testlabor gekauft wurde.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2016 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung des Vorstands von AV-Comparatives vor einer Veröffentlichung erlaubt. Dieser Bericht wird von den Teilnehmern unterstützt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Bericht enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(November 2016)