File Detection Test Februar 2011

Einführung

Der Dateierkennungstest ist einer der aussagekräftigsten Faktoren zur Bewertung der Wirksamkeit einer Antiviren-Engine. Diese Testberichte werden zweimal im Jahr veröffentlicht, einschließlich eines Fehlalarmtests. Weitere Einzelheiten entnehmen Sie bitte den Dokumenten zur Methodik sowie den Informationen auf unserer Website. In diesem Test wurden die folgenden 20 aktuellen Sicherheitsprodukte anhand von 403543 verbreiteten Malware-Samples getestet.

• Detailed Report (EN)

Geprüfte Produkte

• Avast Free Antivirus 5.1Build: 5.1.889
• AVG Anti-Virus 10.0Build: 10.0.1204
• Avira Antivirus Pro 10.0Build: 10.0.0.611
• Bitdefender Antivirus+ 2011Build: 14.0.24.337
• eScan Anti-Virus 11.0Build: 11.0.1139.955
• ESET NOD32 Antivirus 4.2Build: 4.2.71.2
• F-Secure Anti-Virus 2011Build: 10.51.106
• G DATA AntiVirus 2011Build: 21.1.2.2
• K7 Total Security 10.0Build: 10.0.0051
• Kaspersky Anti-Virus 2011Build: 10.0.2.556
• McAfee AntiVirus Plus 2011Build: 14.5.130
• Microsoft Security Essentials 2.0Build: 2.0.657.0
• Panda Antivirus Pro 2011Build: 10.00.00
• PC Tools Spyware Doctor with AV 8.0Build: 8.0.0.624
• Qihoo 360 Antivirus 1.1Build: 1.1.0.1310
• Sophos Anti-Virus 9.5Build: 9.5.5
• Symantec Norton Anti-Virus 2011Build: 18.5.0.125
• Trend Micro Antivirus+ 2011
• Trustport Antivirus 2011Build: 11.0.0.4606
• Webroot AntiVirus with Spy Sweeper 7.0Build: 7.0.6.38

Testverfahren

Jedes Testsystem läuft unter Microsoft Windows XP SP3 mit einem entsprechenden Sicherheitsprodukt, das zuletzt am 10.^. vom Februar 2011. Die Malware-Sets wurden am 22.^. Februar 2011. Alle Produkte hatten während des Tests Internet-/Cloud-Zugang und wurden mit den Standardeinstellungen getestet. Um sicherzustellen, dass alle Dateierkennungsfunktionen genutzt werden, haben wir bei allen Produkten die Überprüfung aller Dateien, die Überprüfung von Archiven und die Überprüfung auf PUA aktiviert.

Auf jedem Testsystem wird der Malware-Satz gescannt. Die vom Sicherheitsprodukt gemachten Erkennungen werden notiert und analysiert. Obwohl bei diesem Test keine Proben ausgeführt wurden, haben wir Fälle in Betracht gezogen, in denen Malware beim Zugriff, aber nicht bei Bedarf erkannt wird. Der Test wird daher File Detection Test genannt (im Gegensatz zu den früheren On-Demand-Tests), da On-Access-Scans berücksichtigt werden.

Bitte beachten Sie: Mehrere Produkte nutzen Cloud-Technologien, die eine aktive Internetverbindung erfordern. Unser Test wird mit einer aktiven Internetverbindung durchgeführt. Obwohl wir die Basis-Erkennungsraten ohne Cloud nicht mehr zeigen und stattdessen nur die Ergebnisse mit aktiver Cloud darstellen, sollten sich die Nutzer bewusst sein, dass die Erkennungsraten in einigen wenigen Fällen niedriger sein können, wenn der Scan offline durchgeführt wird. Die Cloud sollte als zusätzlicher Vorteil/Funktion zur Erhöhung der Erkennungsraten (sowie der Reaktionszeiten und der Unterdrückung von Fehlalarmen) betrachtet werden und nicht als vollständiger Ersatz für lokale Offline-Erkennungen. Die Anbieter sollten sicherstellen, dass die Benutzer gewarnt werden, falls die Verbindung zur Cloud z. B. während eines Scans unterbrochen wird, was den gebotenen Schutz erheblich beeinträchtigen und z. B. den eingeleiteten Scan unbrauchbar machen kann. Es hat sich gezeigt, dass Produkte, die sich stark auf die Cloud verlassen, bei der Erkennung von PE-Malware besser abschneiden, während sie bei der Erkennung von Malware im Nicht-PE-Format, wie sie in der Kategorie "Sonstige Malware/Viren" zu finden ist, schlechter abschneiden. AMTSO verfügt über einen rudimentären Test, um die ordnungsgemäße Funktion von Cloud-gestützten Produkten zu überprüfen.

Testfälle

Der verwendete Testsatz wurde unter Hinzuziehung von Telemetriedaten erstellt, um die am weitesten verbreiteten Malware-Samples der letzten Wochen/Monate vor dem Testdatum einzubeziehen, die die Nutzer in der Praxis gefährden, und bestand aus 403543 Samples. Darüber hinaus wurde die Verteilung der Familien im Testsatz anhand der Familienprävalenz gewichtet und auf der Grundlage der globalen Telemetriedaten von Microsoft erstellt. Das bedeutet, dass je verbreiteter eine Malware-Familie ist, desto mehr Proben aus dieser Familie werden in die Testgruppe aufgenommen.

Hierarchische Clusteranalyse

Dieses Dendrogramm zeigt die Ergebnisse der Clusteranalyse. Es zeigt an, auf welchem Ähnlichkeitsniveau die Cluster miteinander verbunden sind. Die rot eingezeichnete Linie definiert den Grad der Ähnlichkeit. Jeder Schnittpunkt zeigt eine Gruppe an.

Ranking-System

Wie in früheren Berichten angekündigt (und bereits im dynamischen Gesamtprodukttest von 2010 angewandt), werden in diesem Jahr die Auszeichnungen für diesen Test wie folgt vergeben: Die Gesamterkennungsraten (mit zwei Nachkommastellen) werden von den Testern gruppiert, nachdem sie die mit der hierarchischen Clustermethode gebildeten Cluster betrachtet haben. Die Fehlalarme werden wie üblich berücksichtigt (möglicherweise wird in Zukunft strenger mit "sehr vielen" und "wahnsinnig vielen" umgegangen), aber wir prüfen, ob wir die FP-Bewertung ändern können.
Durch die Verwendung von Clustern gibt es keine festen Schwellenwerte mehr, die erreicht werden müssen, da sich die Schwellenwerte auf der Grundlage der verschiedenen Ergebnisse ändern. Die Tester können die Cluster rationell gruppieren und sich nicht nur auf die Cluster verlassen, um zu vermeiden, dass z. B. alle Produkte, die in Zukunft schlecht abschneiden würden, trotzdem keine hohe Bewertung erhalten.
Benutzer, die das alte Prämiensystem bevorzugen, können selbst das auf festen Prozentsätzen basierende Bewertungssystem anwenden, sollten aber bedenken, dass die Testmenge nur eine Teilmenge und keine absolute Menge ist, so dass Schwankungen der einzelnen Erkennungsraten in verschiedenen Tests nicht überbewertet werden sollten. Benutzer können die Zahlen betrachten, um die verschiedenen Erkennungsraten von Produkten innerhalb eines bestimmten Tests über eine Reihe von Malware zu vergleichen.

	Erkennungsrate Cluster/Gruppen (von den Testern nach Konsultation statistischer Methoden angegeben)
	4	3	2	1
Sehr wenige (0-2 FPs) Wenig (3-15 FP's)	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele (16-100 FPs)	TESTED	TESTED	STANDARD	ADVANCED
Sehr viele (101-500 FPs)	TESTED	TESTED	STANDARD	STANDARD
Verrückt viele (über 500 FPs)	TESTED	TESTED	TESTED	TESTED

Test-Ergebnisse

Da Windows-Viren, Makroviren und Skripte heutzutage nur noch eine kleine Gruppe im Vergleich zu der weit verbreiteten Anzahl von Trojanern, Backdoors, Würmern usw. darstellen, werden diese Untergruppen nicht mehr separat aufgeführt. Sie werden jetzt in der Gruppe "andere Malware/Viren" zusammen mit Rootkits, Exploits usw. gezählt.

Der verwendete Testsatz enthielt 403543 aktuelle/prävalente Proben aus den letzten Wochen/Monaten. Wir schätzen die verbleibende Fehlerspanne bei den endgültigen Prozentsätzen auf unter 0,2%.

Gesamtentdeckungsraten (in Gruppen zusammengefasst)

Bitte beachten Sie auch die Falschalarmraten, wenn Sie sich die nachstehenden Dateierkennungsraten ansehen.

1.	G Data	99.8%
2.	Trustport	99.2%
3.	Avast	98.4%
4.	F-Secure, Panda	98.1%
5.	Qihoo	97.9%
6.	Bitdefender	97.6%
7.	Avira, ESET	97.5%
8.	eScan	97.4%
9.	Kaspersky	97.0%
10.	McAfee	96.8%
11.	Microsoft	95.8%
12.	Symantec	95.5%
13.	Trend Micro	94.4%
14.	Sophos	94.1%
15.	PC-Werkzeuge	92.8%
16.	AVG	91.4%
17.	Webroot	85.5%
18.	K7	84.4%

Grafik der verpassten Proben (niedriger ist besser)

Das nachstehende Diagramm zeigt die Testergebnisse im Vergleich zur "Out-of-Box"-Malware-Erkennung von Microsoft Defender, die als Basiswert hervorgehoben ist.

Die Ergebnisse unserer On-Demand-Tests gelten in der Regel auch für den On-Access-Scanner (wenn dieser gleich konfiguriert ist), nicht aber für Technologien zum Schutz bei der Ausführung (wie HIPS, Verhaltensblocker usw.).

Eine gute Erkennungsrate ist immer noch eine der wichtigsten, deterministischen und zuverlässigen Eigenschaften eines Antivirenprodukts. Zusätzlich bieten die meisten Produkte zumindest eine Art von HIPS, verhaltensbasierte, reputationsbasierte oder andere Funktionen, um bösartige Aktionen zu blockieren (oder zumindest vor der Möglichkeit solcher Aktionen zu warnen), z. B. während der Ausführung von Malware, wenn alle anderen On-Access- und On-Demand-Erkennungs-/Schutzmechanismen versagt haben. 

Bitte verpassen Sie nicht den zweiten Teil des Berichts (er wird in einigen Monaten veröffentlicht), der den retrospektiven Test enthält, in dem bewertet wird, wie gut die Produkte neue/unbekannte Malware erkennen.

Auch wenn wir verschiedene Tests liefern und verschiedene Aspekte der Antiviren-Software aufzeigen, wird den Benutzern empfohlen, die Software selbst zu bewerten und sich eine eigene Meinung darüber zu bilden. Testdaten oder Rezensionen bieten nur Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen und ermutigen die Leser, auch andere unabhängige Testergebnisse zu recherchieren, die von verschiedenen bekannten und etablierten unabhängigen Prüforganisationen bereitgestellt werden, um einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in verschiedenen Testszenarien und mit verschiedenen Test-Sets zu erhalten.

Test der Scangeschwindigkeit

Antivirenprodukte haben aus verschiedenen Gründen unterschiedliche Scangeschwindigkeiten. Es muss berücksichtigt werden, wie zuverlässig die Erkennungsrate eines Anti-Virus-Produkts ist; ob das Anti-Virus-Produkt Code-Emulation verwendet, ob es Cloud-Daten abfragt, ob es eine tiefe heuristische Scan-Analyse und einen aktiven Rootkit-Scan durchführt, wie tief und gründlich die Unterstützung für das Entpacken und Entpacken von Archiven ist, zusätzliche Sicherheits-Scans, ob es wirklich alle Dateitypen scannt (oder z. B. Whitelists in der Cloud verwendet), usw.

Die meisten Produkte verfügen über Technologien zur Verringerung der Scanzeiten bei nachfolgenden Scans, indem zuvor gescannte Dateien übersprungen werden. Da wir die Scangeschwindigkeit (wenn Dateien wirklich nach Malware gescannt werden) und nicht die Geschwindigkeit des Überspringens von Dateien wissen wollen, sind diese Fingerprinting-Technologien deaktiviert und werden hier nicht berücksichtigt. Unserer Meinung nach sollten einige Produkte die Benutzer deutlicher über die leistungsoptimierten Scans informieren und sie dann entscheiden lassen, ob sie einen kurzen leistungsoptimierten Scan (bei dem nicht alle Dateien erneut überprüft werden, was das Risiko birgt, dass infizierte Dateien übersehen werden) oder einen vollständigen Sicherheitsscan bevorzugen.

Das folgende Diagramm zeigt die Durchsatzrate in MB/s (je höher, desto schneller) der verschiedenen Antivirenprodukte beim Scannen (bei Bedarf) mit den höchsten Einstellungen und einem ganzen Satz sauberer Dateien (für die Fehlalarmtests). Die Durchsatzrate beim Scannen hängt von der Menge der sauberen Dateien5, den Einstellungen und der verwendeten Hardware ab.

Die durchschnittliche Scandurchsatzrate (Scangeschwindigkeit) errechnet sich aus der Größe der bereinigten Datei in MB geteilt durch die für den Abschluss des Scans benötigte Zeit in Sekunden. Die Scan-Durchsatzrate dieses Tests kann nicht mit zukünftigen Tests oder mit anderen Tests verglichen werden, da sie von der Menge der Dateien, der verwendeten Hardware usw. abhängt. Die Geschwindigkeitstests wurden unter Windows XP SP3 auf identischen Intel Core 2 Duo E8300/2.83GHz, 2GB RAM und SATA II Festplatten durchgeführt. Im Jahr 2012 werden wir die Geschwindigkeitstests für die On-Demand-Scans wahrscheinlich nicht mehr in den On-Demand-Erkennungsbericht aufnehmen.

False Positives (False Alarm) Test - Ergebnis

Um die Qualität der Erkennungsfunktionen (Unterscheidung zwischen guten und bösartigen Dateien) von Antivirenprodukten besser beurteilen zu können, bieten wir auch einen Fehlalarmtest an. Falsche Alarme können manchmal genauso viel Ärger verursachen wie eine echte Infektion. Bitte berücksichtigen Sie die Fehlalarmrate bei der Betrachtung der Erkennungsraten, da ein Produkt, das zu Fehlalarmen neigt, leichter eine höhere Punktzahl erreicht. Alle entdeckten Fehlalarme wurden gemeldet und an die jeweiligen Anti-Viren-Hersteller weitergeleitet und sollten nun bereits behoben sein..

1.	McAfee	0	sehr wenige FPs
2.	Microsoft	1
3.	Bitdefender, eScan, F-Secure	3	wenige FPs
4.	Sophos	4
5.	Avira	9
6.	PC-Werkzeuge	10
7.	Symantec	11
8.	Kaspersky, Trustport	12
9.	K7	14
10.	AVG	15
11.	G Data, Panda	18	viele FPs
12.	Avast	19
13.	ESET	20
14.	Webroot	22
15.	Qihoo	104	sehr viele FPs
16.	Trend Micro	290

Das folgende Diagramm zeigt die Anzahl der Fehlalarme, die von den getesteten Antiviren-Produkten in unseren sauberen Dateien gefunden wurden.

Einzelheiten zu den entdeckten Fehlalarmen (einschließlich ihrer vermuteten Häufigkeit) sind in einem separaten Bericht zu finden, der unter folgender Adresse abrufbar ist: http://www.av-comparatives.org/wp-content/uploads/2012/04/avc_fps_201102_en.pdf

Zusammenfassung - Ergebnis

Ein Produkt, das einen hohen Prozentsatz bösartiger Dateien erkennt, aber unter Fehlalarmen leidet, ist nicht unbedingt besser als ein Produkt, das weniger bösartige Dateien erkennt, aber weniger Fehlalarme erzeugt.

Das folgende Diagramm zeigt die kombinierten Dateierkennungsraten und Fehlalarme.

Anmerkungen

Informationen über zusätzlich verwendete Drittanbieter-Engines/Signaturen in den Produkten: eScan, F-Secure und Qihoo 360 basieren auf der Bitdefender-Engine. G Data basiert auf den Engines von Avast und Bitdefender. PC-Werkzeuge verwendet die Signaturen von Symantec. Trustport basiert auf den Engines von AVG und Bitdefender. Webroot basiert auf der Sophos Engine.

Auch wenn wir verschiedene Tests durchführen und verschiedene Aspekte der Antiviren-Software aufzeigen, sollten die Benutzer die Software selbst bewerten und sich ihre eigene Meinung bilden. Testdaten oder Rezensionen bieten lediglich Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen den Lesern, zusätzlich andere unabhängige Testergebnisse verschiedener bekannter und etablierter unabhängiger Prüforganisationen zu konsultieren, um sich einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in unterschiedlichen Testszenarien und mit verschiedenen Test-Sets zu verschaffen. Eine Liste verschiedener seriöser Testlabore finden Sie auf unserer Website.

Heutzutage werden fast alle Produkte standardmäßig mit den höchsten Schutzeinstellungen ausgeführt (zumindest bei On-Demand-/Plan-Scans), einige schalten jedoch automatisch auf die höchsten Einstellungen um, sobald eine Infektion erkannt wird. Aus diesem Grund und um vergleichbare Ergebnisse zu gewährleisten, haben wir alle Produkte mit den höchsten Einstellungen getestet, es sei denn, die Sicherheitsanbieter haben dies ausdrücklich empfohlen. Dies kann daran liegen, dass die Hersteller es vorziehen, die höchsten Einstellungen nicht zu verwenden, weil die Zahl der Fehlalarme zu hoch ist, oder dass die höchsten Einstellungen sich auf die Leistung auswirken, oder dass sie planen, die Einstellung in naher Zukunft zu ändern oder zu entfernen. Im Folgenden finden Sie einige Hinweise zu den verwendeten Einstellungen (alle Dateien scannen usw. ist immer aktiviert), z. B.: wo die Einstellungen nicht standardmäßig auf die höchste Stufe gesetzt sind:

• Avast, AVIRA, Kaspersky, Symantec: gebeten, mit einer auf hoch/erweitert eingestellten Heuristik getestet zu werden. Aus diesem Grund empfehlen wir den Nutzern, auch die Heuristik auf hoch/erweitert zu setzen.
• F-Secure, Sophos: gebeten, auf der Grundlage ihrer Standardeinstellungen getestet und ausgezeichnet zu werden (d. h. ohne Verwendung ihrer erweiterten Heuristik-/Verdachtserkennungseinstellungen).
• AVG, AVIRA: gebeten, die Informationswarnungen von Packern nicht zu aktivieren/als Erkennungen zu betrachten. Wir haben sie also nicht als Entdeckungen gezählt (weder im Malware-Set noch im Clean-Set).

AV-Comparatives zieht es vor, mit den Standardeinstellungen zu testen. Da die meisten Produkte standardmäßig mit den höchsten Einstellungen laufen (oder automatisch auf die höchsten Einstellungen umschalten, wenn Malware gefunden wird, was es unmöglich macht, mit den "Standard"-Einstellungen gegen verschiedene Malware zu testen), haben wir, um vergleichbare Ergebnisse zu erhalten, auch die wenigen verbleibenden Produkte auf die höchsten Einstellungen gesetzt (oder sie auf niedrigeren Einstellungen belassen), in Übereinstimmung mit den jeweiligen Anbietern. Wir bitten die Hersteller, stärkere Standardeinstellungen vorzusehen, d.h. ihre Standardeinstellungen auf die höchste Erkennungsstufe zu setzen, insbesondere für geplante oder vom Benutzer initiierte Scans wäre dies sinnvoller. Wir bitten die Hersteller außerdem, paranoide Einstellungen in der Benutzeroberfläche zu entfernen, die zu hoch sind, um für normale Benutzer jemals von Nutzen zu sein. Da sich einige Hersteller dazu entschlossen haben, mit den stärkeren Einstellungen an unseren Tests teilzunehmen (obwohl sie wissen, dass dies auch Auswirkungen auf andere Tests wie Fehlalarmtests, Leistungstests usw. hat), scheint es die bessere Option zu sein, standardmäßig die stärkeren Einstellungen zu verwenden, und deshalb empfehlen wir den Benutzern, diese Einstellungen ebenfalls zu verwenden.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2011 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(April 2011)