File Detection Test Februar 2010

Einführung

Der Dateierkennungstest ist einer der aussagekräftigsten Faktoren zur Bewertung der Wirksamkeit einer Antiviren-Engine. Diese Testberichte werden zweimal im Jahr veröffentlicht, einschließlich eines Fehlalarmtests. Weitere Einzelheiten entnehmen Sie bitte den Dokumenten zur Methodik sowie den Informationen auf unserer Website. In diesem Test wurden die folgenden 20 aktuellen Sicherheitsprodukte anhand von 1224732 verbreiteten Malware-Samples getestet.

• Detailed Report (EN)

Geprüfte Produkte

• Avast Free Antivirus 5.0Build: 5.0.396
• AVG Anti-Virus 9.0Build: 9.0.733
• Avira Antivirus Pro 9.0Build: 9.0.0.457
• Bitdefender Antivirus+ 2010Build: 13.0.19.347
• eScan Anti-Virus 10.0Build: 10.0.1058.644
• ESET NOD32 Antivirus 4.0Build: 4.0.474.0
• F-Secure Anti-Virus 2010Build: 10.12.108
• G DATA AntiVirus 2010Build: 20.2.4.1
• K7 Total Security 10.0Build: 10.0.0025
• Kaspersky Anti-Virus 2010Build: 9.0.0.736 (a.b)
• Kingsoft Antivirus 2010Build: 2010.2.10.1
• McAfee AntiVirus Plus 2010Build: 14.0.306
• Microsoft Security Essentials 1.0Build: 1.0.1611.0
• Norman Antivirus & Anti-Spyware 7.30Build: 7.30
• Panda Antivirus Pro 2010Build: 9.01.00
• PC Tools Spyware Doctor with AV 7.0Build: 7.0.0.514
• Sophos Anti-Virus 9.0Build: 9.0.3
• Symantec Norton Anti-Virus 2010Build: 17.5.0.127
• Trend Micro Antivirus+ 2010Build: 17.50.1366.0
• Trustport Antivirus 2010Build: 5.0.0.4087

Testverfahren

Jedes Testsystem läuft unter Microsoft Windows XP SP3 mit einem entsprechenden Sicherheitsprodukt, das zuletzt am 3.^. vom Februar 2010. Die Malware-Sets wurden am 10.^. Februar 2010. Alle Produkte hatten während des Tests Internet-Zugang und wurden mit den Standardeinstellungen getestet. Um sicherzustellen, dass alle Dateierkennungsfunktionen genutzt werden, haben wir bei allen Produkten die Überprüfung aller Dateien, die Überprüfung von Archiven und die Überprüfung auf PUA aktiviert.

Auf jedem Testsystem wird der Malware-Satz gescannt. Die vom Sicherheitsprodukt gemachten Erkennungen werden notiert und analysiert. Obwohl bei diesem Test keine Proben ausgeführt wurden, haben wir Fälle in Betracht gezogen, in denen Malware beim Zugriff, aber nicht bei Bedarf erkannt wird. Der Test wird daher File Detection Test genannt (im Gegensatz zu den früheren On-Demand-Tests), da On-Access-Scans berücksichtigt werden.

Testfälle

Sie werden feststellen, dass der Testsatz mit 1224732 Proben diesmal kleiner ist als bei früheren Tests. Das liegt daran, dass wir jetzt versuchen, in die Testgruppe hauptsächlich verbreitete reale Malware einzubeziehen, die es noch gibt (innerhalb der letzten acht Monate). Zur Erstellung des Testsatzes haben wir Metadaten und Telemetriedaten herangezogen (aber da es sich um einen ersten Versuch handelte, haben wir uns nicht ausschließlich darauf verlassen), die innerhalb der AV-Industrie gesammelt und ausgetauscht wurden, sowie anschließend verschiedene Clouds abgefragt und Daten der am hÃ?ufigsten von Benutzern eingereichten Malware angefordert. Malware, die wir auf Benutzer-PCs sehen, wird automatisch als wichtig eingestuft. Wie bei jedem ersten Versuch mussten wir jedoch feststellen, dass noch nicht alle Quellen in der Lage sind, verlässliche Prävalenzdaten zu liefern, so dass wir einige Sätze nachträglich bereinigen mussten. Dies wird sich in Zukunft verbessern, da die Branche derzeit an der Optimierung ihrer Datenaustauschprozesse arbeitet.

Ranking-System

Die Auszeichnungen basieren nicht nur auf den Erkennungsraten, sondern auch auf den False Positives, die in unseren sauberen Dateien gefunden wurden. Ein Produkt, das einen hohen Prozentsatz an Malware erkennt, aber unter Fehlalarmen leidet, ist nicht unbedingt besser als ein Produkt, das weniger Malware erkennt, aber weniger FPs erzeugt.

Die Preise wurden gemäß der nachstehenden Tabelle vergeben (kann sich beim nächsten Mal ändern):

	Erkennungsrate Cluster/Gruppen (von den Testern nach Konsultation statistischer Methoden angegeben)
	<87%	87 - 93%	93 - 97%	97 - 100%
Wenig (0-15 FPs)	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele (über 15 FPs)	TESTED	TESTED	STANDARD	ADVANCED

Test-Ergebnisse

Der verwendete Testsatz enthielt 1224732 aktuelle/prävalente Proben aus den letzten Wochen/Monaten. Wir schätzen die verbleibende Fehlerspanne bei den endgültigen Prozentsätzen auf unter 0,2%.

Gesamtentdeckungsraten (in Gruppen zusammengefasst)

Bitte beachten Sie auch die Falschalarmraten, wenn Sie sich die nachstehenden Dateierkennungsraten ansehen.

1.	G Data	99.6%
2.	Avira	99.3%
3.	Panda	99.2%
4.	Trustport	99.1%
5.	McAfee	98.9%
6.	PC-Werkzeuge	98.7%
7.	Symantec	98.6%
8.	F-Secure	97.8%
9.	ESET	97.7%
10.	Bitdefender, eScan	97.5%
11.	Avast	97.3%
12.	Kaspersky	97.1%
13.	K7	96.4%
14.	Microsoft	96.3%
15.	AVG	94.2%
16.	Sophos	93.7%
17.	Norman	92.7%
18.	Trend Micro	90.7%
19.	Kingsoft	81.8%

Weitere Ergebnisse: Die McAfee-Erkennungsrate mit "sehr hoher" In-the-Cloud-Empfindlichkeit hätte 99,0% erreicht und "sehr viele" Fehlalarme gehabt.
Grundlegende minimale Erkennungsraten einiger Produkte, wenn keine Internetverbindung verfügbar ist (d. h. ohne ihre In-the-Cloud-Technologie): McAfee: 94,9% (19 FPs) , Panda: 73,3% (32 FPs), Trend Micro: 68,5% (22 FPs)

Grafik der verpassten Proben (niedriger ist besser)

Die Prozentangaben beziehen sich nur auf den verwendeten Testsatz. Auch wenn es sich nur um eine Teilmenge von Malware handelt, ist es aufgrund ihrer Größe wichtig, die Anzahl der übersehenen Malware zu betrachten. Ein Wert von 0,3% bedeutet beispielsweise, dass fast 3700 Malware-Samples aus dem verwendeten Testsatz nicht erkannt wurden.

Die Ergebnisse unserer On-Demand-Tests gelten in der Regel auch für den On-Access-Scanner (wenn dieser gleich konfiguriert ist), nicht aber für Technologien zum Schutz bei der Ausführung (wie HIPS, Verhaltensblocker usw.).

Eine gute Erkennungsrate ist immer noch eine der wichtigsten, deterministischen und zuverlässigen Eigenschaften eines Antivirenprodukts. Darüber hinaus bieten die meisten Produkte zumindest eine Art von HIPS, verhaltensbasierte oder andere Funktionen, um bösartige Aktionen zu blockieren (oder zumindest vor der Möglichkeit solcher Aktionen zu warnen), z. B. während der Ausführung von Malware, wenn alle anderen On-Access- und On-Demand-Erkennungs-/Schutzmechanismen versagt haben.

Bitte verpassen Sie nicht den zweiten Teil des Berichts (er wird in einigen Monaten veröffentlicht), der den retrospektiven Test enthält, in dem bewertet wird, wie gut die Produkte neue/unbekannte Malware erkennen.

Auch wenn wir verschiedene Tests liefern und verschiedene Aspekte der Antiviren-Software aufzeigen, wird den Benutzern empfohlen, die Software selbst zu bewerten und sich eine eigene Meinung darüber zu bilden. Testdaten oder Rezensionen bieten nur Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen und ermutigen die Leser, auch andere unabhängige Testergebnisse zu recherchieren, die von verschiedenen bekannten und etablierten unabhängigen Prüforganisationen bereitgestellt werden, um einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in verschiedenen Testszenarien und mit verschiedenen Test-Sets zu erhalten.

Test der Scangeschwindigkeit

Antivirenprodukte haben aus verschiedenen Gründen unterschiedliche Scangeschwindigkeiten. Es muss berücksichtigt werden, wie zuverlässig die Erkennungsrate eines Anti-Virus-Produkts ist; ob das Anti-Virus-Produkt Code-Emulation verwendet, ob es in der Lage ist, schwierige polymorphe Viren zu erkennen, ob es eine tiefe heuristische Scan-Analyse und einen aktiven Rootkit-Scan durchführt, wie tief und gründlich die Unterstützung für das Entpacken und Entpacken von Archiven ist, zusätzliche Sicherheits-Scans, ob es wirklich alle Dateitypen scannt (oder z. B. Whitelists in der Cloud verwendet) usw.

Die meisten Produkte verfügen über Technologien, mit denen sich die Scanzeiten bei nachfolgenden Scans verkürzen lassen, indem zuvor gescannte Dateien übersprungen werden. Da wir die Scangeschwindigkeit (wenn Dateien wirklich nach Malware gescannt werden) und nicht die Geschwindigkeit des Überspringens von Dateien untersuchen wollen, werden diese Technologien hier nicht berücksichtigt. Unserer Meinung nach sollten einige Produkte die Benutzer deutlicher über die leistungsoptimierten Scans informieren und sie dann entscheiden lassen, ob sie einen kurzen leistungsoptimierten Scan (bei dem nicht alle Dateien erneut überprüft werden, was das Risiko birgt, dass infizierte Dateien übersehen werden!) oder einen vollständigen Sicherheitsscan bevorzugen.

Das folgende Diagramm zeigt die Durchsatzrate in MB/s (je höher, desto schneller) der verschiedenen Antivirenprodukte beim Scannen (On-Demand) mit den höchsten Einstellungen und einem ganzen Satz sauberer Dateien (die für die Fehlalarmtests verwendet wurden). Die Durchsatzrate beim Scannen hängt von der Menge der sauberen Dateien, den Einstellungen und der verwendeten Hardware ab.

Die durchschnittliche Scandurchsatzrate (Scangeschwindigkeit) errechnet sich aus der Größe der bereinigten Datei in MB geteilt durch die für den Abschluss des Scans benötigte Zeit in Sekunden. Die Scan-Durchsatzrate dieses Tests kann nicht mit zukünftigen Tests oder mit anderen Tests verglichen werden, da sie von der Menge der Dateien, der verwendeten Hardware usw. abhängt. Die Scangeschwindigkeitstests wurden unter Windows XP SP3 auf identischen Intel Core 2 Duo E8300/2.83GHz, 2GB RAM und SATA II Festplatten durchgeführt.

False Positives (False Alarm) Test - Ergebnis

Um die Qualität der Erkennungsleistung von Antivirenprodukten besser beurteilen zu können, bieten wir auch einen Fehlalarmtest an. Falsche Alarme können manchmal genauso viele Probleme verursachen wie eine echte Infektion. Bitte berücksichtigen Sie die Fehlalarmrate bei der Betrachtung der Erkennungsraten, da ein Produkt, das dazu neigt, Fehlalarme zu verursachen, leichter eine höhere Punktzahl erreicht. Alle entdeckten Fehlalarme wurden gemeldet und an die jeweiligen Anti-Virus-Anbieter weitergeleitet und sind bereits behoben..

1.	eScan	1	sehr wenige FPs
2.	F-Secure	2
3.	Bitdefender, ESET, Microsoft	3
4.	Sophos	4	wenige FPs
5.	G Data, Kaspersky	5
6.	PC-Werkzeuge	8
7.	Trustport	9
8.	AVG	10
9.	Avast, Avira, Symantec	11
10.	Trend Micro	38	viele FPs
11.	Panda	47
12.	McAfee	61
13.	Norman	64
14.	Kingsoft	67
15.	K7	193	sehr viele FPs

Einzelheiten zu den entdeckten Fehlalarmen (einschließlich ihrer vermuteten Häufigkeit) sind in einem separaten Bericht zu finden, der unter folgender Adresse abrufbar ist: http://www.av-comparatives.org/wp-content/uploads/2012/04/avc_fps_201002_en.pdf

Zusammenfassung - Ergebnis

Ein Produkt, das einen hohen Prozentsatz bösartiger Dateien erkennt, aber unter Fehlalarmen leidet, ist nicht unbedingt besser als ein Produkt, das weniger bösartige Dateien erkennt, aber weniger Fehlalarme erzeugt.

Das folgende Diagramm zeigt die kombinierten Dateierkennungsraten und Fehlalarme.

Anmerkungen

K7, Panda, PC Tools und Trend Micro sind neue Teilnehmer der Testserie 2010.

Fast alle Produkte laufen heutzutage standardmäßig mit den höchsten Schutzeinstellungen (zumindest entweder an den Eintrittspunkten, bei On-Demand-Scans des gesamten Computers oder bei geplanten Scans) oder schalten Sie im Falle einer erkannten Infektion automatisch auf die höchsten Einstellungen um. Dies ist erforderlich, um vergleichbare Ergebnisse zu erzielen, wir haben alle Produkte mit den höchsten Einstellungen getestet, sofern die Hersteller nicht ausdrücklich etwas anderes empfehlen (da wir für alle Tests dieselben Einstellungen verwenden, liegt der Grund in der Regel darin, dass die höchsten Einstellungen entweder zu viele Fehlalarme verursachen, eine zu große Auswirkung auf die Systemleistung haben oder dass die Einstellungen vom Hersteller in naher Zukunft geändert/entfernt werden sollen). Um einige häufige Fragen zu vermeiden, finden Sie im Folgenden einige Hinweise zu den verwendeten Einstellungen (Scannen aller Dateien usw. ist immer aktiviert) einiger Produkte:

• AVIRA, Kaspersky, Symantec, TrustPort: gebeten, mit einer auf hoch/erweitert eingestellten Heuristik getestet zu werden. Aus diesem Grund empfehlen wir den Nutzern, auch die Heuristik auf hoch/erweitert einzustellen.
• F-Secure, Sophos: gebeten, auf der Grundlage ihrer Standardeinstellungen getestet und ausgezeichnet zu werden (d. h. ohne Verwendung ihrer erweiterten Heuristik-/Verdachtserkennungseinstellungen).
• AVG, AVIRA: gebeten, die Informationswarnungen von Packern nicht zu aktivieren/als Erkennungen zu betrachten. Aus diesem Grund haben wir sie nicht als Entdeckungen gezählt (weder im Malware-Set noch im Clean-Set).

AV-Comparatives zieht es vor, mit den Standardeinstellungen zu testen. Da die meisten Produkte standardmäßig mit den höchsten Einstellungen laufen (oder automatisch auf die höchsten Einstellungen umschalten, wenn Malware gefunden wird, was es unmöglich macht, mit den "Standard"-Einstellungen gegen verschiedene Malware zu testen), haben wir, um vergleichbare Ergebnisse zu erhalten, auch die wenigen verbleibenden Produkte auf die höchsten Einstellungen gesetzt (oder sie auf niedrigeren Einstellungen belassen), in Übereinstimmung mit den jeweiligen Anbietern. Wir hoffen, dass alle Hersteller ein angemessenes Gleichgewicht zwischen Erkennung/Fehlalarmen/Systemauswirkungen finden und bereits standardmäßig die höchste Sicherheit bieten und paranoide Einstellungen in der Benutzeroberfläche entfernen, die zu hoch sind, um für normale Benutzer jemals von Nutzen zu sein.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2010 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(März 2010)