Business Security Test 2016

Einleitung

Für diese Bewertung bündelten MRG Effitas und AV-Comparatives ihre Kräfte und führten einen gemeinsamen Test durch. Der Malware-Schutztest wurde von AV-Comparatives durchgeführt, der Exploit-Test von MRG Effitas.

General

Schadsoftware stellt eine immer größere Bedrohung dar, nicht nur weil die Zahl der Malware-Programme zunimmt, sondern auch wegen der Art der Bedrohungen. Die Infektionsvektoren ändern sich von einfachen dateibasierten Methoden hin zur Verbreitung über das Internet. Malware konzentriert sich zunehmend auf Benutzer, indem sie sie z. B. dazu verleitet, infizierte Webseiten zu besuchen, bösartige Software zu installieren, Cyberspionage zu betreiben, Ransomware zu installieren oder E-Mails mit bösartigen Anhängen zu öffnen. Der Schutzumfang von Antivirenprogrammen wie Signaturen und Heuristiken wird durch die Einbeziehung von z. B. URL-Blockern, Inhaltsfiltern, Reputationssystemen, cloudbasierten Methoden und benutzerfreundlichen Verhaltensblockern erweitert. Wenn diese Funktionen perfekt auf die signaturbasierte und heuristische Erkennung abgestimmt sind, erhöht sich der Schutz vor Bedrohungen. Wir empfehlen jedoch, dass alle Teile eines Produkts so effektiv wie möglich sein sollten. Es sollte bedacht werden, dass nicht alle Malware über das Internet in Computersysteme gelangt und dass z. B. ein URL-Blocker gegen Malware, die über ein USB-Flash-Laufwerk oder ein lokales Netzwerk in einen PC eingeschleust wird, unwirksam ist.

Wir beglückwünschen die vier Anbieter, die an diesem Test teilgenommen haben, dazu, dass sie ihre Unternehmensprodukte öffentlich von einem unabhängigen Labor testen lassen. Wir haben eine Reihe anderer Anbieter eingeladen, an diesem Test teilzunehmen, aber sie haben abgelehnt, vor allem, weil sie ihre Verbraucherprodukte bereits gründlich von uns testen lassen und die Ergebnisse wahrscheinlich ähnlich ausfallen wie bei ihren entsprechenden Geschäftsprodukten.

• Detailed Report (EN)

Geprüfte Produkte

Die folgenden Produkte wurden mit den Standardeinstellungen unter Windows 10 64-Bit geprüft/getestet:

• AVG CloudCare 2016
• Bitdefender GravityZone Advanced Business Security Cloud 6.2.9
• ESET Endpoint Security 6.4
• Kaspersky Endpoint Security Cloud 1.9

Überblick

In diesem Test wurde der Schutz, den die Produkte bieten, bewertet. Die Tests wurden von September bis Oktober 2016 durchgeführt.

Die folgenden Tests wurden durchgeführt:

RTTL: Die 500 häufigsten bösartigen Muster laut der AMTSO Real-Time Threat List (RTTL) waren ausgeführt auf dem System.

AVC: 500 der neuesten und am weitesten verbreiteten bösartigen Muster aus unserer eigenen Datenbank wurden ausgeführt auf dem System.

WPDT: 50 bösartige Websites wurden mit Hilfe unserer Realitätsnahe Tests Framework, das die Aktivitäten eines typischen Computernutzers (ob zu Hause oder im Büro) beim Surfen im Internet simuliert.

FPseinen Fehlalarmtest, bei dem 1000 saubere Dateien ausgeführt auf dem System wurde ebenfalls durchgeführt. Der False-Positive-Test misst die Fähigkeit der Produkte, saubere von bösartigen Dateien zu unterscheiden.

Exploit-Test21 Exploits wurden für den Exploit-Test verwendet.

Testverfahren

Einrichtung des Exploit-Tests

Ttungszyklus für jeden Testfall

1. Es wurde eine Standardinstallation von Windows 10 64-Bit auf einem Endpunkt einer virtuellen Maschine (VirtualBox) erstellt. Der standardmäßige HTTP/HTTPS-Proxy wurde so konfiguriert, dass er auf einen Proxy verweist, der auf einem anderen Computer läuft. Der SSL/TLS-Verkehr wurde auf dem Proxy nicht abgefangen.
2. Die Sicherheit des Betriebssystems wurde durch die folgenden Maßnahmen geschwächt:
   • Microsoft Defender wurde deaktiviert
   • Internet Explorer SmartScreen wurde deaktiviert
   • Es wurde anfällige Software installiert, siehe "Installierte Software" für Details.
   • Windows Update wurde deaktiviert
3. Von diesem Punkt aus wurden verschiedene Snapshots der virtuellen Maschine erstellt, mehrere mit verschiedenen Endpunktschutzprodukten und einer ohne. Durch dieses Verfahren wurde sichergestellt, dass das Basissystem in allen Testsystemen exakt gleich war. Für diesen Test wurden die folgenden Endpunktsicherheitssuites mit der folgenden Konfiguration definiert:
   • Kein zusätzlicher Schutz (dieser Snapshot wurde verwendet, um das Betriebssystem zu infizieren und die Wiedergabe des Exploits zu überprüfen)
   • Produkt 1 installiert
   • Produkt 2 installiert
   • ...
   •  

   Die Endpunktsysteme wurden mit der Standardkonfiguration installiert, die Entfernung potenziell unerwünschter Software war aktiviert, und die Teilnahme an der Cloud/Community war aktiviert, sofern dies bei der Installation als Option angegeben war.

4. Die Exploit-Quellen lassen sich in zwei Kategorien einteilen. Bedrohungen aus der freien Wildbahn und Metasploit. VBscript-basierte Downloader und Office-Makro-Dokumente wurden ebenfalls berücksichtigt, da diese Bedrohungen normalerweise nicht in anderen Testszenarien enthalten sind.
5. Die virtuelle Maschine wurde in einen sauberen Zustand zurückversetzt und der Datenverkehr wurde vom Proxyserver wiedergegeben. Das Abspielen bedeutete, dass der Browser wie zuvor verwendet wurde, aber anstelle der ursprünglichen Webserver beantwortete der Proxyserver die Anfragen auf der Grundlage des aufgezeichneten Datenverkehrs. Wenn der "nachgespielte Exploit" in der Lage war, das Betriebssystem zu infizieren, wurde der Exploit-Datenverkehr als Quelle für die Tests markiert. Diese Methode garantiert, dass die Endpunktschutzsysteme genau denselben Datenverkehr sehen, selbst wenn das ursprüngliche Exploit-Kit während der Tests ausfällt. Dieses Exploit-Replay ist NICHT zu verwechseln mit dem Replay-Typ tcpreplay.
6. Nachdem der neue Exploit-Verkehr genehmigt war, wurden die Endpunktschutzsysteme getestet. Bevor die Exploit-Site getestet wurde, wurde überprüft, ob der Endpunktschutz auf die neueste Version mit den neuesten Signaturen aktualisiert worden war und ob alle Cloud-Verbindungen funktionierten. Wenn ein Neustart des Systems erforderlich war, wurde es neu gestartet. Bei der Proxy-Einrichtung wurden nicht übereinstimmende Anfragen durchgelassen und SSL/TLS wurde nicht entschlüsselt, um die AV-Konnektivität zu gewährleisten. Während des Tests wurde auf dem Host-Rechner VPN verwendet. Wenn eine Benutzerinteraktion über den Endpunktschutz erforderlich war (z. B. Besuch einer Website nicht empfohlen usw.), wurde die Aktion Blockieren/Verweigern gewählt. Wenn eine Benutzerinteraktion von Windows aus erforderlich war, wählten wir die Optionen Ausführen/Erlauben. Auf dem System liefen keine anderen Prozesse, mit Ausnahme von Process Monitor/Process Explorer von SysInternals und Wireshark (beide in nicht standardmäßigen Verzeichnissen installiert).
7. Nach dem Aufrufen der Exploit-Site wurde das System auf neue Prozesse, geladene DLLs oder C&C-Verkehr überwacht.
8. Der Prozess wurde mit Schritt 5 fortgesetzt, bis alle Testfälle der Exploit-Site erreicht waren.

Die folgende Hardware wurde der virtuellen Maschine zugewiesen:

• 4 GB RAM-Speicher
• 2 dedizierte Prozessoren von AMD FX 8370E CPU
• 65 GB freier Speicherplatz
• 1 Netzwerkschnittstelle
• SSD-Laufwerk

Das VirtualBox-Host- und Gastsystem für den Exploit-Test wurde so gehärtet, dass gängige Virtualisierungs- und Sandbox-Erkennungstechniken das System nicht als Analysesystem erkennen können.

Analyse der im Exploit-Test verwendeten Exploit-Kits

Leider war der Zeitpunkt des Tests und die Betriebssystemkonfiguration nicht günstig für den Exploit-Test. Zum Zeitpunkt des Tests dominierten zwei Exploit-Kits das Internet. Sundown und RIG. Leider verwendete RIG alte (meist Flash) Exploits, die die Testkonfiguration überhaupt nicht ausnutzen konnten. Deshalb war es wichtig, mit Metasploit und einigen nicht mehr ganz frischen, aber auch nicht zu alten Exploit-Kits (Neutrino) zu testen.

Wir haben auch zwei Beispiele verwendet, bei denen es sich nicht um einen Exploit selbst, sondern um einen Nicht-PE-Downloader handelt, z. B. ein Office-Makro und einen WSF-Downloader. Wir haben diese in den Mix aufgenommen, weil diese "egsotischen" Dateitypen oft von Real-World-Tests ausgeschlossen werden, aber inzwischen in freier Wildbahn weit verbreitet sind.

Es wurden insgesamt 21 Testfälle getestet.

• 8 Sonnenuntergang EK
• 5 Neutrino EK
• 4 Metasploit
• 1 Powershell-Imperium
• 1 Metasploit-Makro
• 1 Locky Malspam WSF
• 1 unbekannt EK

Diese Exploit-Kits zielten auf Adobe Flash, Internet Explorer, Microsoft Office (Makro), Silverlight, Firefox und Java ab.

Installierte Software

Für den Exploit-Testteil wurde die folgende anfällige Software installiert:

Anbieter	Produkt	Version		Anbieter	Produkt	Version
Adobe	Flash Player ActiveX - eingebaut	21.0.0.182		Microsoft	SilberLicht	5.1.10411.0
AutoIT	AutoIT	3.3.12.0		Mozilla	Firefox	31.0
Microsoft	Internet Explorer	11.162.10586		Oracle	Java	1.7.0.17
Microsoft	Büro	2016

 

Ranking-System

Bewertung der Schutz-/Erkennungsergebnisse von Exploits

Wir haben die folgenden Phasen definiert, in denen der Exploit durch das Endpunktschutzsystem verhindert werden kann:

1. Blockieren der URL (infizierte URL, Exploit-Kit-URL, Umleitungs-URL, Malware-URL) durch die URL-Datenbank (lokal oder Cloud). Ein typisches Ergebnis ist z. B., dass der Browser die Meldung "Die Website wurde vom Endpunktschutz blockiert" anzeigt. Je früher die Bedrohung in der Exploit-Kette erkannt wird, desto einfacher ist es, die bösartigen Dateien vom System zu entfernen, desto weniger Informationen können von den Angreifern vom System gesammelt werden und desto geringer ist das Risiko eines Angriffs auf die jeweilige Sicherheitslösung auf einem Endpunkt.
2. Analyse und Blockierung der Seite, die einen bösartigen HTML-Code, JavaScripts (Weiterleitungen, iframes, verschleierte JavaScripts usw.) oder Flash-Dateien enthält.
3. Blockieren des Exploits, bevor der Shellcode ausgeführt wird.
4. Blockieren der heruntergeladenen Nutzlast durch Analyse der Malware, bevor sie gestartet wird. Beispielsweise kann der Download der Malware-Nutzlast (entweder die Klartext-Binärdatei oder die verschlüsselte/kodierte Binärdatei) im Proxy-Datenverkehr gesehen werden, aber es wird kein Malware-Prozess gestartet.
5. Die Ausführung der Malware wird blockiert (kein Prozess erstellen, Bibliothek laden).
6. Die abgeworfene Malware hatte einen erfolgreichen Start.
7. Die abgelegte Malware wurde erfolgreich gestartet, aber nach einiger Zeit wurde die gesamte abgelegte Malware beendet und gelöscht ("Malware startet, wird aber später blockiert").

Die "Schutz"-Wertung der Ergebnisse wurde wie folgt berechnet:

• Wenn kein bösartiger, nicht vertrauenswürdiger Code auf dem Endpunkt ausgeführt werden konnte, wurden den Produkten 5 Punkte zuerkannt. Dies kann durch Blockieren des Exploits in Schritt 1, 2 oder 3 erreicht werden.
• Wenn bösartiger, nicht vertrauenswürdiger Code auf dem System ausgeführt wurde (Shellcode des Exploits, Downloader-Code), aber die endgültige Malware nicht starten konnte, wurden dem Produkt 4 Punkte gegeben. Dies kann durch Blockieren des Exploits in Schritt 4 oder 5 erreicht werden.
• Wenn sowohl der Shellcode des Exploits (oder der Downloader-Code) als auch die endgültige Malware ausgeführt werden konnten, erhielt das Produkt 0 Punkte.
• Wenn in irgendeinem Stadium der Infektion eine Warnung mit mittlerem oder hohem Schweregrad ausgelöst wurde (auch wenn die Infektion nicht verhindert werden konnte), wurde dem Produkt 1 Punkt zuerkannt.

Die "Aufdeckungs"-Bewertung der Ergebnisse wurde wie folgt berechnet:

• Wenn in irgendeinem Stadium der Infektion eine Warnung mit mittlerem oder hohem Schweregrad ausgelöst wurde (auch wenn die Infektion nicht verhindert werden konnte), wurde dem Produkt 1 Punkt zuerkannt.

Wir haben dieses Scoring aus den folgenden Gründen verwendet:

• Der Test diente der Verhinderung von Exploits und nicht der Erkennung von Malware auf dem System.
• Es ist nicht möglich festzustellen, welche Art von Befehlen ausgeführt oder welche Informationen durch die Malware exfiltriert wurden. Die Datenexfiltration kann nicht rückgängig gemacht oder behoben werden.
• Es kann nicht festgestellt werden, ob die Malware beendet wurde, weil das Endpunkt-Schutzsystem sie blockiert hat, oder ob die Malware beendet wurde, weil sie Überwachungsprozesse oder Virtualisierung erkannt hat, oder ob sie beendet wurde, weil sie ihre Zielumgebung nicht gefunden hat.
• Die Überprüfung der Malware-Beseitigung kann zu zeitaufwändig sein, und in einer Unternehmensumgebung ist es sehr schwierig, die Beseitigung zu erreichen. In den letzten Jahren haben wir beispielsweise mehrere Warnungen erhalten, dass das Endpunktschutzsystem eine URL/Seite/Exploit/Malware blockiert hat, die Malware aber dennoch auf dem System ausgeführt werden konnte. In anderen Fällen wurde der Malware-Code vom Endpunkt-Schutzsystem von der Festplatte gelöscht, aber der Malware-Prozess lief weiter, oder einige Teile der Malware wurden erkannt und beendet, andere hingegen nicht.
• In einer komplexen Unternehmensumgebung schützen mehrere Netzwerk- und Endpunktprodukte die Endpunkte. Wenn ein Netzwerkprodukt eine Warnung ausgibt, dass eine bösartige Binärdatei auf den Endpunkt heruntergeladen wurde, müssen Administratoren die Warnungen mit den Warnungen des Endpunktschutzes abgleichen oder eine vollständige forensische Untersuchung durchführen, um sicherzustellen, dass keine Malware auf dem Endpunkt ausgeführt wurde. Dieser Prozess kann zeit- und ressourcenaufwändig sein, weshalb es besser ist, den Exploit zu blockieren, bevor der Shellcode startet.
• Normalerweise ist der Exploit-Shellcode nur ein einfacher Schritt zum Herunterladen und Ausführen einer neuen Malware, aber bei gezielten Angriffen kann der Exploit-Shellcode komplexer sein.

Wir sind der Meinung, dass eine solche Nulltoleranzbewertung Unternehmen bei der Auswahl der besten Produkte anhand einfacher Messgrößen hilft. Die manuelle Überprüfung der erfolgreichen Beseitigung von Malware in einer Unternehmensumgebung ist ein sehr ressourcenintensiver Prozess und kostet viel Geld. Unserer Meinung nach muss Malware blockiert werden, bevor sie eine Chance hat, ausgeführt zu werden, und es sollte kein Exploit-Shellcode ausgeführt werden können.

Bewertung der Ergebnisse des Malware-Schutzes

Die Bewertung des Malware-Schutzes ist einfach: Wenn das System durch die Malware kompromittiert wurde, erhielt das Produkt 0 Punkte, und wenn die Malware blockiert oder beseitigt wurde, wurde 1 Punkt vergeben. Wenn ein Popup-Fenster dem Benutzer die Entscheidung abgenommen hat, wurden 0,5 Punkte vergeben.

Auswertung des falsch-positiven Tests

Für den Test der Fehlalarme wurde dasselbe Bewertungsprinzip wie oben beschrieben angewandt. Für diesen Test wurden 1000 nicht bösartige Anwendungen verwendet.

Test-Ergebnisse

Malware Protection Test

Die folgende Tabelle zeigt die Ergebnisse des Tests zum Schutz vor Malware.

	RTTL	AVC	WPDT	FPs
AVG	100%	100%	100%	9
Bitdefender	100%	100%	100%	3
ESET	100%	100%	100%	0
Kaspersky Lab	100%	100%	100%	5

Test zum Schutz vor Exploits

	Protected	Detected
AVG	90%	90%
Bitdefender	65%	67%
ESET	94%	95%
Kaspersky Lab	100%	100%

 

Über die Testlaboratorien

AV-Comparatives

AV-Comparatives ist eine herstellerunabhängige Organisation, die systematische Tests anbietet, um zu prüfen, ob Sicherheitssoftware wie PC/Mac-basierte Antivirenprodukte und mobile Sicherheitslösungen halten, was sie versprechen. Mit einer der weltweit größten Beispielsammlungen schafft AV-Comparatives eine reale Umgebung für genaue Tests von Sicherheitstools und bietet Einzelpersonen, Medien und wissenschaftlichen Einrichtungen frei zugängliche Ergebnisse. Die Zertifizierung durch AV-Comparatives bietet ein offizielles Gütesiegel für die Leistung von Software, das weltweit anerkannt ist. Der Real-World Protection Test ist derzeit der umfassendste und komplexeste Test, der für die Bewertung der Schutzfunktionen von Antivirensoftware im realen Leben zur Verfügung steht. Zu diesem Zweck betreibt AV-Comparatives in einem Rechenzentrum in Innsbruck eines der weltweit größten IT-Sicherheitstest-Frameworks.

Mitglieder von AV-Comparatives halten häufig Vorträge auf den wichtigsten IT-Sicherheitskonferenzen wie Virus Bulletin, AVAR, EICAR, IEEE Malware Conference, WATeR, AMTSO, BSides, Ninjacon.

Die Methodik des Real-World Protection Test von AV-Comparatives hat die folgenden Auszeichnungen und Zertifizierungen erhalten, darunter:

• Constantinus-Award - von der österreichischen Regierung erteilt
• Cluster Award - vergeben von der Standortagentur Tirol - Tiroler Landesregierung
• eAward - vergeben von report.at (Magazin für Informatik) und dem Bundeskanzleramt
• Innovationspreis IT - "Best Of" - verliehen von der Initiative Mittelstand Deutschland

Das Managementsystem von AV-Comparatives ist nach ISO 9001:2008 zertifiziert. Die Zertifizierung wurde vom TÜV Österreich für das Managementsystem mit dem Geltungsbereich "Unabhängige Tests von Antivirensoftware" erhalten.

AV-Comparatives ist das erste zertifizierte EICAR Trusted IT-Security Lab.

Das Rechenzentrum, in dem AV-Comparatives die Testgeräte betreibt, ist nach ISO 27001:2013 zertifiziert.

MRG Effitas

MRG Effitas ist ein unabhängiges IT-Sicherheitsforschungsunternehmen mit Sitz im Vereinigten Königreich, das sich auf die Bereitstellung modernster Dienste zur Bewertung und Sicherung der Wirksamkeit, die Bereitstellung von Malware-Samples für Hersteller und die neuesten Nachrichten über neue Bedrohungen und andere Informationen im Bereich der IT-Sicherheit konzentriert.

Die Ursprünge von MRG Effitas liegen in der Gründung der "Malware Research Group" im Jahr 2009 durch Sveta Miladinov, eine unabhängige Sicherheitsforscherin und Beraterin. Im Juni 2009 kam Chris Pickard hinzu, der seine im Markt für Geschäftsprozess-Outsourcing erworbene Expertise im Bereich Prozess- und Methodikdesign einbrachte.

Die Malware Research Group erwarb sich schnell einen Ruf als führender Anbieter von Wirksamkeitsprüfungen im Bereich Browser und Online-Banking. Aufgrund der steigenden Nachfrage nach ihren Dienstleistungen wurde sie 2011 umstrukturiert und in "MRG Effitas" mit der Muttergesellschaft "Effitas" umbenannt.

Heute verfügt MRG Effitas über ein Team von Analysten, Forschern und Mitarbeitern in der EMEA-Region, in den USA und in China, so dass eine wirklich globale Präsenz gewährleistet ist.

Seit seiner Gründung hat sich MRG Effitas auf die Bereitstellung bahnbrechender Testverfahren konzentriert, die reale Umgebungen realistisch nachbilden, um möglichst genaue Wirksamkeitsbewertungen zu erstellen.

MRG Effitas wird von mehreren führenden Sicherheitsanbietern als führendes Test- und Bewertungsunternehmen in den Bereichen Online-Banking, Browser-Sicherheit und Cloud-Sicherheit anerkannt und hat sich als Partner der Wahl etabliert.

Mitglieder von MRG Effitas halten häufig Vorträge auf den großen IT-Sicherheitskonferenzen wie Botconf, DEF CON, WATeR (AMTSO), Hacktivity, Hacker Halted usw.

Unsere Fachleute verfügen über die folgenden Zertifizierungen: CISSP, OSCP, OSCE, GPEN, SLAE, SPSE, CPTS, CHFI, MCP, OSWP.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2016 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung des Vorstands von AV-Comparatives vor einer Veröffentlichung erlaubt. Dieser Bericht wird von den Teilnehmern unterstützt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Bericht enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(November 2016)