Retrospektiver / Proaktiver Test August 2011

Einführung

Anti-Virus-Produkte behaupten oft, eine hohe proaktive Erkennungsleistung zu haben - weit höher als die in diesem Test erreichten Werte. Dies ist nicht nur eine Werbeaussage; es ist möglich, dass Produkte die angegebenen Prozentsätze erreichen, aber dies hängt von der Dauer des Testzeitraums, der Größe der Stichprobenmenge und den verwendeten Stichproben ab. Die Daten zeigen, wie gut die proaktiven (On-Access/On-Demand) Erkennungsfähigkeiten der Scanner bei der Erkennung der in diesem Test verwendeten neuen Bedrohungen (von anderen manchmal auch als 0-Day-Bedrohungen bezeichnet) waren. Benutzer sollten sich nicht fürchten, wenn Produkte in einem rückwirkenden Test niedrige Prozentsätze aufweisen. Wenn die Antiviren-Software immer auf dem neuesten Stand gehalten wird, kann sie möglicherweise mehr Muster erkennen. Um zu verstehen, wie die Erkennungsraten der Antivirenprodukte mit aktualisierten Signaturen und Programmen aussehen, werfen Sie einen Blick auf unsere regelmäßigen On-Demand-Erkennungstests. Aufgrund der Konzeption und des Umfangs des Tests wurde nur die heuristische/generische Erkennungsfähigkeit getestet (offline). Einige Produkte sind möglicherweise in der Lage, einige Muster zu erkennen, z. B. bei der Ausführung oder durch andere Überwachungstools, wie Verhaltensblocker, Reputations-/Cloud-Heuristiken usw. Diese Arten von zusätzlichen Schutztechnologien werden von AV-Comparatives z.B. in dynamischen Tests für das gesamte Produkt berücksichtigt, liegen aber außerhalb des Rahmens der retrospektiven Tests. Weitere Einzelheiten entnehmen Sie bitte den Dokumenten zur Methodik sowie den Informationen auf unserer Website.

Dieser Prüfbericht ist der zweite Teil der Prüfung im August 2011. Der Bericht wird aufgrund des hohen Arbeitsaufwands, der tieferen Analyse und der Vorbereitung des retrospektiven Testsatzes Ende November vorgelegt. Aufgrund des Zeitaufwands für die Analyse und Qualitätssicherung dieser Proben werden sie in der Regel auch in den nächsten Aufdeckungstest einbezogen, um zu sehen, ob sie bis dahin abgedeckt sind.
Jeden Tag tauchen viele neue Viren und andere Arten von Malware auf. Deshalb ist es wichtig, dass Antivirenprodukte nicht nur so oft und so schnell wie möglich neue Updates bereitstellen, sondern auch in der Lage sind, solche Bedrohungen im Voraus (auch ohne sie auszuführen oder während sie offline sind) mit generischen und/oder heuristischen Verfahren zu erkennen. Auch wenn die meisten Antivirenprodukte heutzutage tägliche, stündliche oder Cloud-Updates anbieten, gibt es ohne heuristische/generische Methoden immer einen Zeitrahmen, in dem der Benutzer nicht zuverlässig geschützt ist.

Für die Produkte wurden dieselben Aktualisierungen und Signaturen verwendet, die auch für die 12^. August 2011, mit den gleichen Erkennungseinstellungen wie im August. Dieser Test zeigt die proaktiven Erkennungsmöglichkeiten, die die Produkte zu diesem Zeitpunkt hatten. Wir haben neue Malware verwendet, die zwischen dem 13.^. und 20^. August 2011. Die folgenden Produkte wurden getestet:

Geprüfte Produkte

• Avast Free Antivirus 6.0
• Avira Antivirus Pro 10.2
• Bitdefender Antivirus+ 2012
• eScan Anti-Virus 11.0
• ESET NOD32 Antivirus 5.0
• F-Secure Anti-Virus 2011
• G DATA AntiVirus 2012
• Kaspersky Anti-Virus 2012
• Microsoft Security Essentials 2.1
• Panda Free Antivirus 1.5
• Qihoo 360 Antivirus 2.0
• Trustport Antivirus 2012

Testverfahren

Heutzutage verlässt sich kaum noch ein Antivirenprodukt ausschließlich auf "einfache" Signaturen. Sie alle verwenden komplexe generische Signaturen, Heuristiken usw., um neue Malware zu erkennen, ohne dass Signaturen heruntergeladen werden müssen oder eine manuelle Analyse neuer Bedrohungen erforderlich ist. Darüber hinaus liefern die Hersteller von Antivirensoftware weiterhin Signaturen und Updates, um die Lücken zu schließen, in denen proaktive Mechanismen einige Bedrohungen zunächst nicht erkennen. Antiviren-Software nutzt verschiedene Technologien, um einen PC zu schützen. Die Kombination eines solchen mehrschichtigen Schutzes kann in der Regel einen guten Schutz bieten.

Fast alle Produkte werden heutzutage standardmäßig mit den höchsten Schutzeinstellungen ausgeführt (zumindest entweder an den Einstiegspunkten, bei On-Demand-Scans des gesamten Computers oder bei geplanten Scans) oder schalten im Falle einer erkannten Infektion automatisch auf die höchsten Einstellungen um. Um vergleichbare Ergebnisse zu erhalten, haben wir daher alle Produkte mit den höchsten Einstellungen getestet, sofern von den Herstellern nicht ausdrücklich anders empfohlen. Um einige häufige Fragen zu vermeiden, finden Sie im Folgenden einige Hinweise zu den verwendeten Einstellungen (Scannen aller Dateien usw. ist immer aktiviert) einiger Produkte:

AVIRA, Kaspersky: gebeten, mit einer auf hoch/erweitert eingestellten Heuristik getestet zu werden. Aus diesem Grund empfehlen wir den Nutzern, auch die Heuristik auf hoch/erweitert einzustellen.
F-Secure: gebeten, auf der Grundlage ihrer Standardeinstellungen (d. h. ohne Verwendung ihrer fortgeschrittenen Heuristiken) getestet und ausgezeichnet zu werden.
AVIRA: gebeten, die Informationswarnungen von Packern nicht zu aktivieren/als Erkennungen zu betrachten. Aus diesem Grund haben wir sie nicht als Entdeckungen gezählt (weder im Malware-Set noch im sauberen Set).

AV-Comparatives zieht es vor, mit den Standardeinstellungen zu testen. Da die meisten Produkte standardmäßig mit den höchsten Einstellungen laufen (oder automatisch auf die höchsten Einstellungen umschalten, wenn Malware gefunden wird, was es unmöglich macht, mit den "Standard"-Einstellungen gegen verschiedene Malware zu testen), haben wir, um vergleichbare Ergebnisse zu erhalten, auch die wenigen verbleibenden Produkte in Übereinstimmung mit den jeweiligen Anbietern auf die höchsten Einstellungen gesetzt (oder sie auf den Standardeinstellungen belassen). Wir hoffen, dass alle Hersteller ein angemessenes Gleichgewicht zwischen Erkennung/Fehlalarm und Auswirkungen auf das System finden und bereits standardmäßig die höchste Sicherheit bieten und paranoide Einstellungen in der Benutzeroberfläche entfernen, die zu hoch sind, um für normale Benutzer jemals von Nutzen zu sein.

Testfälle

Diesmal haben wir in die retrospektive Testreihe nur neue Malware aufgenommen, die in den wenigen Tagen nach der letzten Aktualisierung im August in der Praxis gesehen wurde und weit verbreitet war. Außerdem haben wir darauf geachtet, Malware-Samples einzubeziehen, die zu verschiedenen Clustern gehören (d. h. die sich voneinander unterscheiden, um z. B. nicht zu viele Samples einzubeziehen, die praktisch dieselbe Malware sind). Da Malware, die sich ausbreitet, durch reaktive Maßnahmen schneller entdeckt werden kann, wenn viele Nutzer infiziert wurden, können die anfänglichen proaktiven Raten niedriger sein (denn wenn sie proaktiv entdeckt worden wären, könnten sie sich nicht ausbreiten, wenn sie im Voraus blockiert/entdeckt würden).

Ranking-System

Die Auszeichnungen werden von den Testern vergeben, nachdem sie eine Reihe von statistischen Methoden, darunter auch hierarchisches Clustering, herangezogen haben. Wir haben unsere Entscheidungen nach dem folgenden Schema getroffen:

	Proaktiver Schutz Tarife
	Unter 50%	3	2	1
Keine - Wenige FPs	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele FPs	TESTED	TESTED	STANDARD	ADVANCED
Sehr viele FPs	TESTED	TESTED	TESTED	STANDARD
Verrückt viele FPs	TESTED	TESTED	TESTED	TESTED

Test-Ergebnisse

Die getesteten Produkte sind in der Lage, eine Menge völlig neuer/unbekannter Malware proaktiv zu erkennen, auch ohne dass die Malware ausgeführt wird, indem sie passive Heuristiken verwenden, während andere Schutzmechanismen wie HIPS, Verhaltensanalyse und Verhaltensblocker, Reputations-/Cloud-Heuristiken usw. eine zusätzliche Schutzebene hinzufügen. Der retrospektive Test wird mit passivem Scannen durchgeführt und demonstriert die Fähigkeit der getesteten Produkte, neue Malware proaktiv zu erkennen, ohne dass sie ausgeführt wird. Bei den retrospektiven Tests werden "In-the-Cloud"-Funktionen nicht berücksichtigt, da dies nicht in den Anwendungsbereich des Tests fällt.

False Positives (False Alarm) Test - Ergebnis

Um die Qualität der Erkennungsfunktionen besser beurteilen zu können, muss auch die Fehlalarmrate berücksichtigt werden. Ein Fehlalarm (oder falsches Positiv) liegt vor, wenn ein Antiviren-Produkt eine harmlose Datei als infiziert kennzeichnet, obwohl sie es nicht ist. Falsche Alarme können manchmal genauso viel Ärger verursachen wie eine echte Infektion. Die Ergebnisse des Fehlalarmtests waren bereits im Testbericht vom August enthalten.

Die Ergebnisse des Fehlalarmtests waren bereits im März-Testbericht enthalten. Für Details lesen Sie bitte den Falscher Alarm Test August 2011.

1.	Microsoft	1	sehr wenige FPs (0-1)
2.	Bitdefender, eScan, F-Secure	3
3.	Avira	9	wenige FPs (2-10)
4.	Kaspersky, Trustport	12
5.	G Data, Panda	18	viele FPs (über 10)
6.	Avast	19
7.	ESET	20
8.	Qihoo	104

Zusammenfassung - Ergebnis

Die Ergebnisse zeigen die proaktiven (generischen/heuristischen) Dateierkennungsfähigkeiten der Scan-Engines gegenüber neuer Malware. Die Prozentsätze sind auf die nächste ganze Zahl gerundet. Nehmen Sie die Ergebnisse nicht als absolute Bewertung der Qualität - sie geben nur einen Eindruck davon, wer in diesem speziellen Test mehr und wer weniger erkannt hat. Um zu erfahren, wie diese Antivirenprodukte mit aktualisierten Signaturen abschneiden, werfen Sie bitte einen Blick auf unsere Erkennungstests vom Februar und August. Wenn Sie wissen möchten, wie hoch die Schutzraten der verschiedenen Produkte sind, schauen Sie sich bitte unsere laufenden dynamischen Ganzprodukttests an. Die Leser sollten sich die Ergebnisse ansehen und sich eine Meinung bilden, die auf ihre Bedürfnisse zugeschnitten ist.

Unten sehen Sie die proaktiven On-Demand-Erkennungsergebnisse für neue und weit verbreitete Malware, die innerhalb weniger Tage im August auftrat (9003 verschiedene Malware-Samples):

	Blockiert	Kompromitiert	Proaktiv / Schutzrate	False-Positives (FPs)	Cluster
Qihoo	6086	2917	67.6%	Viele	1
G Data	5762	3241	64.0%	Wenig	1
AVIRA	5618	3385	62.4%	Wenig	1
ESET	5546	3457	61.6%	Sehr wenige	1
Trustport	5519	3484	61.3%	Viele	1
Kaspersky	5411	3592	60.1%	Sehr wenige	1
F-Secure	5177	3826	57.5%	Wenig	1
Bitdefender	5150	3853	57.2%	Wenig	1
eScan	5123	3880	56.9%	Viele	1
Microsoft	4384	4619	48.7%	Sehr wenige	2
Avast	4150	4853	46.1%	Wenig	2
Panda	3727	5276	41.4%	Sehr wenige	2

[1] Benutzerabhängige Fälle wurden zur Hälfte angerechnet. Beispiel: Wenn ein Programm selbst 80% Malware blockiert, plus weitere 20% benutzerabhängige Fälle, erhält es insgesamt 90%, d. h. 80% + (20% x 0,5).

Anmerkungen

Alle Produkte, die an dem Test teilnahmen, erzielten gute Ergebnisse und erhielten entweder die Auszeichnung Advanced oder Advanced+. Bemerkenswert ist, dass das Cloud-AntiVirus-Produkt von Panda respektable Erkennungsraten von unbekannten bösartigen Programmen erzielte, obwohl es die Cloud nicht nutzen darf, und mit einer Advanced-Auszeichnung belohnt wurde. Leider haben sich nicht alle Anbieter für die Teilnahme an diesem Test entschieden. Dies mag daran liegen, dass viele der nicht teilnehmenden Programme bei dieser Art von Test, bei dem die Cloud usw. nicht genutzt wird, nur suboptimale Ergebnisse erzielen würden.

AVG, K7, McAfee, PC Tools, Sophos, Symantec, Trend Micro und Webroot haben beschlossen, nicht an diesem Test teilzunehmen und auf eine Auszeichnung zu verzichten. In Anbetracht der Tatsache, dass einige Anbieter nicht teilgenommen haben, haben wir beschlossen, dass es in diesem Fall sinnvoller ist, unsere festen Schwellenwerte beizubehalten, anstatt die Cluster-Methode zu verwenden (da durch die Nichtteilnahme der Produkte mit niedriger Punktzahl die Cluster möglicherweise "unfair" gebildet werden).

Eine Zusammenfassung und ein Kommentar zu unserer Testmethodik, die vor zwei Jahren vom PC Mag veröffentlicht wurde, könnten für die Leser von Interesse sein: http://securitywatch.pcmag.com/security-software/315053-can-your-antivirus-handle-a-zero-day-malware-attack

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2011 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(November 2011)