Retrospective / Proactive Test 2012

Einführung

Täglich tauchen viele neue Viren und andere Arten von Malware auf. Deshalb ist es wichtig, dass Antivirenprodukte nicht nur so häufig und so schnell wie möglich neue Updates bereitstellen, sondern auch in der Lage sind, solche Bedrohungen im Voraus zu erkennen (vorzugsweise ohne sie auszuführen oder die Cloud zu kontaktieren), und zwar mit generischen/heuristischen Techniken oder, falls dies nicht möglich ist, mit verhaltensorientierten Schutzmaßnahmen. Auch wenn die meisten Antivirenprodukte heutzutage tägliche, stündliche oder Cloud-Updates anbieten, gibt es ohne proaktive Methoden immer einen Zeitrahmen, in dem der Nutzer nicht zuverlässig geschützt ist.

Die Daten zeigen, wie gut die proaktiven heuristischen/generischen Erkennungsfähigkeiten der Scanner bei der Erkennung neuer Bedrohungen (von anderen manchmal auch als Zero-Hour-Bedrohungen bezeichnet) waren, die in diesem Test verwendet wurden. Aufgrund der Konzeption und des Umfangs des Tests wurden nur die heuristischen/generischen Erkennungsfähigkeiten und die verhaltensbasierten Schutzfähigkeiten (bei der Ausführung) getestet (offline). Zusätzliche Schutztechnologien (die von der Cloud-Konnektivität abhängen) werden von AV-Comparatives z. B. in dynamischen ("real-world") Schutztests für das gesamte Produkt und anderen Tests berücksichtigt, liegen aber außerhalb des Rahmens der retrospektiven Tests.

Dieser Prüfbericht ist der zweite Teil der Prüfung im März 2012. Der Bericht wird aufgrund des hohen Arbeitsaufwands, der für eine gründliche Analyse, Vorbereitung und dynamische Durchführung des retrospektiven Testsets erforderlich ist, Ende Juli vorgelegt. In diesem Jahr wird dieser Test nur einmal durchgeführt, umfasst aber auch ein Element des Verhaltensschutzes.

Für die Produkte wurden dieselben Updates und Signaturen verwendet, die auch für die 1^. März 2012, und die gleichen Erkennungseinstellungen wie im März (siehe Seite 5 dieses Berichts) wurden für den heuristischen Erkennungsteil verwendet. Für den Verhaltenstest wurden die Standardeinstellungen verwendet. Dieser Test zeigt die proaktiven Erkennungs- und Schutzfunktionen, über die die Produkte zu diesem Zeitpunkt verfügten. Wir haben 4.138 neue Malware-Varianten verwendet, die um den 2.^. März 2012. Die folgenden Produkte wurden getestet:

Geprüfte Produkte

• AhnLab V3 Internet Security 8.0
• Avast Free Antivirus 2012
• AVG Anti-Virus 2012
• Avira Antivirus Pro 2012
• Bitdefender Antivirus+ 2012
• BullGuard Antivirus 12
• eScan Anti-Virus 11.0
• ESET NOD32 Antivirus 5.0
• F-Secure Anti-Virus 2012
• Fortinet FortiClient 4.3
• G DATA AntiVirus 2012
• GFI Vipre Antivirus 2012
• Kaspersky Anti-Virus 2012
• Microsoft Security Essentials 2.1
• Panda Free Antivirus 1.5.2
• PC Tools Spyware Doctor with AV 9.0
• Qihoo 360 Antivirus 3.0
• Tencent PC Manager 5.3

Testverfahren

Was ist mit der Cloud? Selbst im Juni (Monate später) wurden viele der verwendeten Malware-Samples immer noch nicht von bestimmten Produkten erkannt, die stark auf die Cloud angewiesen sind. Folglich halten wir es für eine Marketing-Ausrede, wenn retrospektive Tests - die die proaktive Erkennung gegen neue Malware testen - kritisiert werden, weil sie keine Cloud-Ressourcen nutzen dürfen. Dies gilt insbesondere, wenn man bedenkt, dass in vielen Unternehmensumgebungen die Cloud-Verbindung durch die Unternehmensrichtlinien deaktiviert ist und die Erkennung neuer Malware, die in das Unternehmen gelangt, oft von anderen Produktfunktionen bereitgestellt werden muss (oder bereitgestellt werden soll). Clouds sind für die Anbieter von Sicherheitssoftware sehr (wirtschaftlich) günstig und ermöglichen die Erfassung und Verarbeitung großer Datenmengen. In den meisten (nicht allen) Fällen beruhen sie jedoch immer noch auf der Aufnahme bekannter Malware in die schwarze Liste, d. h. wenn eine Datei völlig neu/unbekannt ist, kann die Cloud in der Regel nicht feststellen, ob sie gut oder bösartig ist.

Bei diesem Test gibt es zwei wesentliche Änderungen im Vergleich zu unseren früheren proaktiven Tests. Erstens ist das Zeitfenster zwischen dem Auftauchen von Malware und der Bereitstellung einer Signatur durch den Hersteller aufgrund der Häufigkeit der von den Herstellern bereitgestellten Updates viel kürzer. Folglich haben wir Malware über einen kürzeren Zeitraum (~1 Tag) gesammelt, und die Testergebnisse sind dementsprechend höher als in früheren Tests. Zweitens haben wir ein zweites (optionales) Element in den Test aufgenommen: den verhaltensbasierten Schutz. Dabei werden alle Malware-Samples, die im Scan-Test nicht entdeckt wurden, ausgeführt und die Ergebnisse beobachtet. Ein teilnehmendes Produkt hat die Möglichkeit, seine Gesamtpunktzahl zu erhöhen, indem es die Malware bei/nach der Ausführung mithilfe der Verhaltensüberwachung blockiert. Die folgenden Anbieter haben darum gebeten, in den neuen Verhaltenstest aufgenommen zu werden: Avast, AVG, AVIRA, BitDefender, ESET, F-Secure, G DATA, GFI, Kaspersky, Panda und PC Tools. Die in diesem Bericht veröffentlichten Ergebnisse zeigen die Ergebnisse aller Programme für den Scantest sowie den zusätzlichen Schutz durch die Produkte, die am Verhaltenstest teilgenommen haben. Obwohl es viel Arbeit war, haben wir von verschiedenen Anbietern gutes Feedback erhalten, da sie Fehler und verbesserungswürdige Bereiche in den Verhaltensroutinen finden konnten.

AV-Comparatives testet vorzugsweise mit den Standardeinstellungen. Fast alle Produkte laufen heute standardmäßig mit den höchsten Schutzeinstellungen oder schalten bei einer erkannten Infektion automatisch auf die höchsten Einstellungen. Um vergleichbare Ergebnisse für den heuristischen Erkennungsteil zu erhalten, haben wir daher auch die wenigen verbleibenden Produkte auf die höchsten Einstellungen gesetzt (oder auf den Standardeinstellungen belassen), so wie es der jeweilige Hersteller wünscht. Beim verhaltensbasierten Schutz haben wir ALLE Produkte mit den DEFAULT-Einstellungen getestet. Im Folgenden finden Sie Hinweise zu den verwendeten Einstellungen (Scannen aller Dateien usw. ist immer aktiviert) einiger Produkte:

F-Secure: auf der Grundlage ihrer Standardeinstellungen (d. h. ohne Verwendung ihrer fortgeschrittenen Heuristiken) geprüft und bewertet werden.
AVG, AVIRA: hat uns gebeten, die Informationswarnungen von Packern nicht als Entdeckungen zu aktivieren/zu berücksichtigen. Aus diesem Grund haben wir sie nicht als solche gezählt.
Avast, AVIRA, Kaspersky: Der Test zur Erkennung von Heuristiken wurde mit der Einstellung "hoch/erweitert" durchgeführt.

Testfälle

Diesmal haben wir in die retrospektive Testreihe nur neue Malware aufgenommen, die in den wenigen Tagen nach dem letzten Update im März im Feld gesehen wurde und weit verbreitet war. Außerdem haben wir darauf geachtet, Malware-Samples einzubeziehen, die zu verschiedenen Clustern gehören und erst nach dem Datum des Einfrierens im Feld aufgetaucht sind. Aufgrund der Verwendung von nur einer Probe pro Malware-Variante und des verkürzten Zeitraums (~1 Tag) für neue Proben sind die Erkennungsraten höher als in früheren Tests. Wir haben das Prämiensystem entsprechend angepasst. Proben, die von der heuristischen/generischen On-Demand/On-Access-Erkennung der Produkte nicht erkannt wurden, wurden dann ausgeführt, um zu sehen, ob sie mit Hilfe der Funktionen der Verhaltensanalyse blockiert werden würden. Die Ergebnisse zeigen, dass bei mindestens der Hälfte der Produkte der Verhaltensanalysator (falls überhaupt vorhanden) keinen zusätzlichen Schutz bietet. Eine gute heuristische/generische Erkennung ist nach wie vor eine der wichtigsten Komponenten zum Schutz vor neuer Malware. In mehreren Fällen haben wir beobachtet, dass Verhaltensanalysatoren nur vor erkannten Bedrohungen warnen, ohne Maßnahmen zu ergreifen, oder dass sie vor einigen gelöschten Malware-Komponenten oder Systemänderungen warnen, ohne vor allen von der Malware ausgeführten bösartigen Aktionen zu schützen. Wenn nur einige abgelegte Dateien oder Systemänderungen erkannt/geblockt wurden, aber nicht die Hauptdatei, die das Verhalten zeigte, wurde sie nicht als Blockierung gezählt. Da die Verhaltensanalyse erst nach der Ausführung der Malware zum Tragen kommt, bleibt ein gewisses Risiko bestehen, kompromittiert zu werden (selbst wenn das Sicherheitsprodukt behauptet, die Bedrohung blockiert/entfernt zu haben). Daher ist es vorzuziehen, dass Malware erkannt wird, bevor sie ausgeführt wird, z. B. durch den On-Access-Scanner unter Verwendung von Heuristiken (dies ist auch einer der Gründe für die unterschiedlichen Schwellenwerte auf der nächsten Seite). Verhaltensanalysatoren/Blocker sollten als Ergänzung zu den anderen Funktionen eines Sicherheitsprodukts (mehrschichtiger Schutz) betrachtet werden und nicht als Ersatz.

Ranking-System

Die Auszeichnungen werden von den Testern vergeben, nachdem sie eine Reihe von statistischen Methoden, darunter auch hierarchisches Clustering, herangezogen haben. Wir haben unsere Entscheidungen nach dem folgenden Schema getroffen:

	Proaktiver Schutz Tarife
	Unter 50%	3	2	1
Keine - Wenige FPs	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele FPs	TESTED	TESTED	STANDARD	ADVANCED
Sehr viele FPs	TESTED	TESTED	TESTED	STANDARD
Verrückt viele FPs	TESTED	TESTED	TESTED	TESTED

Test-Ergebnisse

Um zu erfahren, wie diese Antivirenprodukte mit aktualisierten Signaturen und Cloud-Verbindung gegen gängige Malware-Dateien abschneiden, werfen Sie bitte einen Blick auf unsere Datei-Erkennungstests vom März und September. Um herauszufinden, wie hoch der Online-Schutz der verschiedenen Produkte unter realen Bedingungen ist, lesen Sie bitte unsere fortlaufenden Tests zum dynamischen "Real-World"-Schutz des gesamten Produkts. Die Leser sollten sich die Ergebnisse ansehen und anhand ihrer individuellen Bedürfnisse entscheiden, welches Produkt für sie am besten geeignet ist. So sollten beispielsweise Laptop-Benutzer, die sich Sorgen über Infektionen z. B. durch infizierte Flash-Laufwerke machen, während sie offline sind, diesem Proactive-Test besondere Aufmerksamkeit schenken.

False Positives (False Alarm) Test - Ergebnis

Um die proaktiven Erkennungsfähigkeiten besser beurteilen zu können, muss auch die Fehlalarmrate berücksichtigt werden. Ein Fehlalarm (oder False Positive [FP]) tritt auf, wenn ein Antivirenprodukt eine harmlose Datei als infiziert kennzeichnet. Falsche Alarme können manchmal genauso viel Ärger verursachen wie echte Infektionen.

Die Ergebnisse des Fehlalarmtests waren bereits im Testbericht vom März enthalten. Für Details lesen Sie bitte den Bericht, False Alarm Test März 2013.

1.	Microsoft	0	sehr wenige FPs (0-3)
2.	ESET	2
3.	Bitdefender, F-Secure	4	wenige FPs (4-15)
4.	BullGuard	5
5.	Kaspersky	9	viele FPs (über 15)
6.	Panda	10
7.	eScan	11
8.	G Data	13	sehr viele FPs (über 100)
9.	Avast	14
10.	Avira	15
11.	Tencent	18
12.	PC-Werkzeuge	22
13.	Fortinet	32
14.	AVG	38
15.	AhnLab	64
16.	GFI	79
17.	Qihoo	149

Zusammenfassung - Ergebnis

Die Ergebnisse zeigen die proaktiven (generischen/heuristischen/verhaltensbasierten) Schutzfunktionen der verschiedenen Produkte gegen neue Malware. Die Prozentsätze sind auf die nächste ganze Zahl gerundet.

Unten sehen Sie die Ergebnisse des proaktiven Schutzes über unseren Satz neuer und verbreiteter Malware-Dateien/Familien, die im Feld auftauchten (4.138 Malware-Samples):

	Heuristische Erkennung	Heuristische + verhaltensbezogene Schutzquote[1]	False-Positives (FPs)	Cluster
Kaspersky	90%	97%	wenige	1
BitDefender	82%	97%	wenige	1
Qihoo	95%	–	sehr viele	1
F-Secure	82%	91%	wenige	1
G Data	90%	90%	wenige	1
ESET	87%	87%	sehr wenige	1
Avast	77%	87%	wenige	1
Panda	75%	85%	wenige	1
AVIRA	84%	84%	wenige	1
AVG	77%	83%	viele	2
BullGuard, eScan	82%	–	wenige	2
PC-Werkzeuge	53%	82%	viele	2
Microsoft	77%	–	sehr wenige	2
Tencent	75%	–	viele	2
Fortinet	64%	–	viele	2
GFI	51%	51%	viele	3
AhnLab	47%	–	viele	3

[1] Benutzerabhängige Fälle wurden zur Hälfte angerechnet. Beispiel: Wenn ein Programm selbst 80% Malware blockiert, plus weitere 20% benutzerabhängige Fälle, erhält es insgesamt 90%, d. h. 80% + (20% x 0,5).

Anmerkungen

Dieser Test ist ein optionaler Teil unserer öffentlichen Haupttestreihe, d.h. die Hersteller können zu Beginn des Jahres entscheiden, ob sie ihre jeweiligen Produkte in den Test aufnehmen wollen. Der Test wird derzeit nur dann als Teil der öffentlichen Haupttestreihe durchgeführt, wenn sich eine Mindestanzahl von Herstellern dafür entscheidet, daran teilzunehmen.

Die Sicherheitsprodukte von Microsoft werden auf der Seite mit den Auszeichnungen nicht berücksichtigt, da ihr Out-of-Box-Schutz (optional) im Betriebssystem enthalten ist und derzeit als nicht konkurrenzfähig gilt.

Eine Zusammenfassung und ein Kommentar zu unserer Testmethodik, die vor zwei Jahren vom PC Mag veröffentlicht wurde, könnten für die Leser von Interesse sein: http://securitywatch.pcmag.com/security-software/315053-can-your-antivirus-handle-a-zero-day-malware-attack

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2012 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Juli 2012)