File Detection Test August 2010

Einleitung

Der Dateierkennungstest ist einer der aussagekräftigsten Faktoren zur Bewertung der Wirksamkeit einer Antiviren-Engine. Diese Testberichte werden zweimal im Jahr veröffentlicht, einschließlich eines Fehlalarmtests. Weitere Einzelheiten entnehmen Sie bitte den Dokumenten zur Methodik sowie den Informationen auf unserer Website. In diesem Test wurden die folgenden 20 aktuellen Sicherheitsprodukte anhand von 917292 verbreiteten Malware-Samples getestet.

• Detailed Report (EN)

Geprüfte Produkte

• Avast Free Antivirus 5.0Build: 5.0.594
• AVG Anti-Virus 9.0Build: 9.0.851
• Avira Antivirus Pro 10.0Build: 10.0.0.603
• Bitdefender Antivirus+ 2011Build: 14.0.23.312
• eScan Anti-Virus 10.0Build: 10.0.1058.677
• ESET NOD32 Antivirus 4.2Build: 4.2.58.3
• F-Secure Anti-Virus 2011Build: 10.50.197
• G DATA AntiVirus 2011Build: 21.0.3.1
• K7 Total Security 10.0Build: 10.0.0040
• Kaspersky Anti-Virus 2011Build: 11.0.1.400 (a)
• Kingsoft Antivirus 2010Build: 2010.07.27.193
• McAfee AntiVirus Plus 2010Build: 14.5.113
• Microsoft Security Essentials 1.0Build: 1.0.1963.0
• Norman Antivirus & Anti-Spyware 8.0Build: 8.00
• Panda Antivirus Pro 2011Build: 10.00.00
• PC Tools Spyware Doctor with AV 8.0Build: 8.0.0.594
• Sophos Anti-Virus 9.5Build: 9.5.1
• Symantec Norton Anti-Virus 2011Build: 18.1.0.30
• Trend Micro Antivirus+ 2010
• Trustport Antivirus 2010Build: 5.0.0.4134

Testverfahren

Jedes Testsystem läuft unter Microsoft Windows XP SP3 mit einem entsprechenden Sicherheitsprodukt, das zuletzt am 6.^. vom August 2010. Die Malware-Sets wurden am 16.^. August 2010. Alle Produkte hatten während des Tests Internet-/Cloud-Zugang und wurden mit den Standardeinstellungen getestet. Um sicherzustellen, dass alle Dateierkennungsfunktionen genutzt werden, haben wir bei allen Produkten die Überprüfung aller Dateien, die Überprüfung von Archiven und die Überprüfung auf PUA aktiviert.

Auf jedem Testsystem wird der Malware-Satz gescannt. Die vom Sicherheitsprodukt gemachten Erkennungen werden notiert und analysiert. Obwohl bei diesem Test keine Proben ausgeführt wurden, haben wir Fälle in Betracht gezogen, in denen Malware beim Zugriff, aber nicht bei Bedarf erkannt wird. Der Test wird daher File Detection Test genannt (im Gegensatz zu den früheren On-Demand-Tests), da On-Access-Scans berücksichtigt werden.

Bitte beachten Sie: Mehrere Produkte nutzen Cloud-Technologien, die eine aktive Internetverbindung erfordern. Unsere Tests werden mit einer aktiven Internetverbindung durchgeführt. Benutzer sollten sich bewusst sein, dass die Erkennungsraten in einigen Fällen drastisch niedriger sein können, wenn der Scan offline durchgeführt wird (oder wenn der Cloud-Dienst aus verschiedenen Gründen nicht erreichbar ist). Die Cloud sollte als zusätzlicher Vorteil/Funktion zur Erhöhung der Erkennungsraten (sowie der Reaktionszeiten und der Unterdrückung von Fehlalarmen) betrachtet werden und nicht als vollständiger Ersatz für lokale Offline-Erkennungen. Die Anbieter sollten sicherstellen, dass die Benutzer angemessen gewarnt werden, falls die Verbindung zur Cloud unterbrochen wird, was den Schutz erheblich beeinträchtigen und z. B. einen eingeleiteten Scan unbrauchbar machen kann. Während wir in unserem Test prüfen, ob die Cloud-Dienste der jeweiligen Sicherheitsanbieter erreichbar sind, sollten sich die Nutzer darüber im Klaren sein, dass online zu sein nicht unbedingt bedeutet, dass der Cloud-Dienst der von ihnen genutzten Produkte auch erreichbar ist bzw. ordnungsgemäß funktioniert. Tatsächlich haben Produkte mit Cloud-Funktionalität manchmal verschiedene Netzwerkprobleme, aufgrund derer keine Cloud-Sicherheit bereitgestellt wird, ohne dass der Benutzer gewarnt wird. AMTSO verfügt über einen rudimentären Test, um die ordnungsgemäße Funktion von Cloud-gestützten Produkten zu überprüfen.

Testfälle

Wir haben für diesen Test auch Metadaten/Cloud-/Telemetriedaten verwendet, die in der AV-Branche gesammelt und ausgetauscht wurden, um aktuelle (2010) und weit verbreitete Muster in den Testsatz aufzunehmen. Aus diesem Grund wird der Testsatz immer kleiner und die Produkte erreichen immer leichter höhere Erkennungsraten. Wie bereits in den vorherigen Berichten angekündigt, haben wir daher die Schwellenwerte für die Auszeichnungen erhöht, um diese Änderung zu berücksichtigen. Derzeit denken wir auch darüber nach, in Zukunft geclusterte Gruppen anstelle von festen Prozentsätzen für die Auszeichnungen zu verwenden.

Die Zahl der Quellen für die Prävalenzdaten hat in der Branche zugenommen, aber wir haben festgestellt, dass die Qualität einiger Cloud-/Metadaten nicht sehr zuverlässig ist, da einige Clouds mit vielen sauberen Dateien vergiftet zu sein scheinen (und als prävalente Malware gemeldet wurden), die anschließend aus den Datensätzen entfernt wurden. Wir werden diese Fälle untersuchen und den Quellen dieser "vergifteten" Cloud-Daten Feedback geben.

Ranking-System

Die Auszeichnungen basieren nicht nur auf den Erkennungsraten, sondern auch auf den False Positives, die in unseren sauberen Dateien gefunden wurden. Ein Produkt, das einen hohen Prozentsatz an Malware erkennt, aber unter Fehlalarmen leidet, ist nicht unbedingt besser als ein Produkt, das weniger Malware erkennt, aber weniger FPs erzeugt.

Die Preise wurden gemäß der nachstehenden Tabelle vergeben:

	Erkennungsrate Cluster/Gruppen (von den Testern nach Konsultation statistischer Methoden angegeben)
	<90%	90 - 95%	95 - 98%	98 - 100%
Sehr wenige (0-2 FPs) Wenig (3-15 FP's)	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele (16-100 FPs)	TESTED	TESTED	STANDARD	ADVANCED
Sehr viele (101-500 FPs)	TESTED	TESTED	STANDARD	STANDARD
Verrückt viele (über 500 FPs)	TESTED	TESTED	TESTED	TESTED

Test-Ergebnisse

Der verwendete Testsatz enthielt 917292 aktuelle/prävalente Proben aus den letzten Wochen/Monaten. Wir schätzen die verbleibende Fehlerspanne bei den endgültigen Prozentsätzen auf unter 0,2%.

Gesamtentdeckungsraten (in Gruppen zusammengefasst)

Bitte beachten Sie auch die Falschalarmraten, wenn Sie sich die nachstehenden Dateierkennungsraten ansehen.

1.	G Data	99.9%
2.	Avira, Trustport	99.8%
3.	McAfee	99.4%
4.	Avast, Bitdefender	99.3%
5.	eScan, F-Secure, Panda	99.2%
6.	Symantec	98.7%
7.	ESET	98.6%
8.	AVG, Kaspersky	98.3%
9.	PC-Werkzeuge	98.1%
10.	Microsoft	97.6%
11.	Sophos	96.8%
12.	K7, Norman	96.6%
13.	Trend Micro	90.3%
14.	Kingsoft	80.1%

Grafik der verpassten Proben (niedriger ist besser)

Die Prozentzahlen beziehen sich nur auf den verwendeten Testsatz. Auch wenn es sich nur um eine Teilmenge von Malware handelt, ist es wichtig, die Anzahl der entgangenen Malware zu betrachten. Wenn zum Beispiel 0,1% fehlen, bedeutet das, dass fast tausend bösartige Dateien fehlen.

Die Ergebnisse unserer On-Demand-Tests gelten in der Regel auch für den On-Access-Scanner (wenn dieser gleich konfiguriert ist), nicht aber für Technologien zum Schutz bei der Ausführung (wie HIPS, Verhaltensblocker usw.).

Eine gute Erkennungsrate ist immer noch eine der wichtigsten, deterministischen und zuverlässigen Eigenschaften eines Antivirenprodukts. Darüber hinaus bieten die meisten Produkte zumindest eine Art von HIPS, verhaltensbasierte oder andere Funktionen, um bösartige Aktionen zu blockieren (oder zumindest vor der Möglichkeit solcher Aktionen zu warnen), z. B. während der Ausführung von Malware, wenn alle anderen On-Access- und On-Demand-Erkennungs-/Schutzmechanismen versagt haben.

Bitte verpassen Sie nicht den zweiten Teil des Berichts (er wird in einigen Monaten veröffentlicht), der den retrospektiven Test enthält, in dem bewertet wird, wie gut die Produkte neue/unbekannte Malware erkennen.

Auch wenn wir verschiedene Tests liefern und verschiedene Aspekte der Antiviren-Software aufzeigen, wird den Benutzern empfohlen, die Software selbst zu bewerten und sich eine eigene Meinung darüber zu bilden. Testdaten oder Rezensionen bieten nur Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen und ermutigen die Leser, auch andere unabhängige Testergebnisse zu recherchieren, die von verschiedenen bekannten und etablierten unabhängigen Prüforganisationen bereitgestellt werden, um einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in verschiedenen Testszenarien und mit verschiedenen Test-Sets zu erhalten.

Test der Scangeschwindigkeit

Antivirenprodukte haben aus verschiedenen Gründen unterschiedliche Scangeschwindigkeiten. Es muss berücksichtigt werden, wie zuverlässig die Erkennungsrate eines Anti-Virus-Produkts ist; ob das Anti-Virus-Produkt Code-Emulation verwendet, ob es in der Lage ist, schwierige polymorphe Viren zu erkennen, ob es eine tiefe heuristische Scan-Analyse und einen aktiven Rootkit-Scan durchführt, wie tief und gründlich die Unterstützung für das Entpacken und Entpacken von Archiven ist, zusätzliche Sicherheits-Scans, ob es wirklich alle Dateitypen scannt (oder z. B. Whitelists in der Cloud verwendet) usw.

Die meisten Produkte verfügen über Technologien, mit denen sich die Scanzeiten bei nachfolgenden Scans verkürzen lassen, indem zuvor gescannte Dateien übersprungen werden. Da wir die Scangeschwindigkeit (wenn Dateien wirklich nach Malware gescannt werden) und nicht die Geschwindigkeit des Überspringens von Dateien untersuchen wollen, werden diese Technologien hier nicht berücksichtigt. Unserer Meinung nach sollten einige Produkte die Benutzer deutlicher über die leistungsoptimierten Scans informieren und sie dann entscheiden lassen, ob sie einen kurzen leistungsoptimierten Scan (bei dem nicht alle Dateien erneut überprüft werden, was das Risiko birgt, dass infizierte Dateien übersehen werden!) oder einen vollständigen Sicherheitsscan bevorzugen.

Das folgende Diagramm zeigt die Durchsatzrate in MB/s (je höher, desto schneller) der verschiedenen Antivirenprodukte beim Scannen (On-Demand) mit den höchsten Einstellungen und einem ganzen Satz sauberer Dateien (die für die Fehlalarmtests verwendet wurden). Die Durchsatzrate beim Scannen hängt von der Menge der sauberen Dateien, den Einstellungen und der verwendeten Hardware ab.

Die durchschnittliche Scandurchsatzrate (Scangeschwindigkeit) errechnet sich aus der Größe der bereinigten Datei in MB geteilt durch die für den Abschluss des Scans benötigte Zeit in Sekunden. Die Scan-Durchsatzrate dieses Tests kann nicht mit zukünftigen Tests oder mit anderen Tests verglichen werden, da sie von der Menge der Dateien, der verwendeten Hardware usw. abhängt. Die Scangeschwindigkeitstests wurden unter Windows XP SP3 auf identischen Intel Core 2 Duo E8300/2.83GHz, 2GB RAM und SATA II Festplatten durchgeführt.

False Positives (False Alarm) Test - Ergebnis

Um die Qualität der Erkennungsleistung von Antivirenprodukten besser beurteilen zu können, bieten wir auch einen Fehlalarmtest an. Falsche Alarme können manchmal genauso viele Probleme verursachen wie eine echte Infektion. Bitte berücksichtigen Sie die Fehlalarmrate bei der Betrachtung der Erkennungsraten, da ein Produkt, das dazu neigt, Fehlalarme zu verursachen, leichter eine höhere Punktzahl erreicht. Alle entdeckten Fehlalarme wurden gemeldet und an die jeweiligen Anti-Virus-Anbieter weitergeleitet und sind bereits behoben..

1.	F-Secure	2	sehr wenige FPs
2.	Microsoft	3
3.	Bitdefender	4	wenige FPs
4.	eScan	5
5.	ESET	6
6.	PC-Werkzeuge	7
7.	Avast, Symantec	9
8.	Avira	10
9.	Sophos	13
10.	G Data	15
11.	AVG, Trustport	19	viele FPs
12.	Trend Micro	23
13.	McAfee	24
14.	Kingsoft	45
15.	Kaspersky	46
16.	K7	50
17.	Norman, Panda	98

Einzelheiten zu den entdeckten Fehlalarmen (einschließlich ihrer vermuteten Häufigkeit) sind in einem separaten Bericht zu finden, der unter folgender Adresse abrufbar ist: http://www.av-comparatives.org/wp-content/uploads/2012/04/avc_fps_201002_en.pdf

Zusammenfassung - Ergebnis

Ein Produkt, das einen hohen Prozentsatz bösartiger Dateien erkennt, aber unter Fehlalarmen leidet, ist nicht unbedingt besser als ein Produkt, das weniger bösartige Dateien erkennt, aber weniger Fehlalarme erzeugt.

Das folgende Diagramm zeigt die kombinierten Dateierkennungsraten und Fehlalarme.

Anmerkungen

F-Secure, Kaspersky, Kingsoft, McAfee, Panda, Sophos, Symantec und Trend Micro nutzen Cloud-Technologien, die eine aktive Internetverbindung erfordern. Aufgrund der zunehmenden Anzahl von Cloud-unterstützten Produkten testen wir die Basis-Erkennungsraten nicht mehr und zeigen stattdessen nur die Ergebnisse mit aktiver Cloud. Bitte beachten Sie, dass die Erkennungsraten in einigen wenigen Fällen viel niedriger sein können, wenn der Scan offline durchgeführt wird, obwohl die meisten Anbieter die Notwendigkeit sehen, nicht alles in die Cloud zu verlagern, und die Cloud richtigerweise als zusätzlichen Vorteil/Funktion zur Erhöhung der Erkennungsraten (sowie der Reaktionszeiten und der Unterdrückung von Fehlalarmen) und nicht als vollständigen Ersatz für lokale Offline-Erkennungen betrachten.

Fast alle Produkte laufen heutzutage standardmäßig mit den höchsten Schutzeinstellungen (zumindest an den Einstiegspunkten, bei On-Demand-Scans des gesamten Computers oder bei geplanten Scans) oder schalten bei einer erkannten Infektion automatisch auf die höchsten Einstellungen. Um vergleichbare Ergebnisse zu erhalten, haben wir daher alle Produkte mit den höchsten Einstellungen getestet, sofern von den Herstellern nicht ausdrücklich etwas anderes empfohlen wurde (da wir bei allen Tests dieselben Einstellungen verwenden, liegt der Grund dafür in der Regel darin, dass die höchsten Einstellungen entweder zu viele Fehlalarme verursachen, eine zu große Auswirkung auf die Systemleistung haben oder die Einstellungen vom Hersteller in naher Zukunft geändert/entfernt werden sollen). Um einige häufige Fragen zu vermeiden, finden Sie im Folgenden einige Hinweise zu den verwendeten Einstellungen (Scannen aller Dateien usw. ist immer aktiviert) einiger Produkte:

• AVIRA, Kaspersky, Symantec, TrustPort: Sie wurden gebeten, mit einer auf hoch/erweitert eingestellten Heuristik getestet zu werden. Daher empfehlen wir den Benutzern, auch die Heuristik auf hoch/erweitert zu setzen.
• F-Secure, Sophos: Sie wurden gebeten, mit ihren Standardeinstellungen getestet und ausgezeichnet zu werden (d. h. ohne Verwendung ihrer erweiterten Heuristik-/Verdachtserkennungseinstellungen).
• AVG, AVIRA: bat darum, die Informationswarnungen von Packern nicht zu aktivieren/als Erkennungen zu betrachten. Aus diesem Grund haben wir sie nicht als Erkennungen gezählt (weder im Malware-Set noch im sauberen Set).

AV-Comparatives zieht es vor, mit den Standardeinstellungen zu testen. Da die meisten Produkte standardmäßig mit den höchsten Einstellungen laufen (oder automatisch auf die höchsten Einstellungen umschalten, wenn Malware gefunden wird, was es unmöglich macht, mit den "Standard"-Einstellungen gegen verschiedene Malware zu testen), haben wir, um vergleichbare Ergebnisse zu erhalten, auch die wenigen verbleibenden Produkte auf die höchsten Einstellungen gesetzt (oder sie auf niedrigeren Einstellungen belassen), in Übereinstimmung mit den jeweiligen Anbietern. Wir hoffen, dass alle Hersteller ein angemessenes Gleichgewicht zwischen Erkennung/Fehlalarmen/Systemauswirkungen finden und bereits standardmäßig die höchste Sicherheit bieten und paranoide Einstellungen in der Benutzeroberfläche entfernen, die zu hoch sind, um für normale Benutzer jemals von Nutzen zu sein.

Auch wenn wir verschiedene Tests durchführen und verschiedene Aspekte der Antiviren-Software aufzeigen, sollten die Benutzer die Software selbst bewerten und sich ihre eigene Meinung bilden. Testdaten oder Rezensionen bieten lediglich Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen den Lesern, zusätzlich andere unabhängige Testergebnisse verschiedener bekannter und etablierter unabhängiger Prüforganisationen zu konsultieren, um sich einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in unterschiedlichen Testszenarien und mit verschiedenen Test-Sets zu verschaffen. Eine Liste verschiedener seriöser Testlabore finden Sie auf unserer Website.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2010 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Oktober 2010)