File Detection Test August 2011

Datum	August 2011
Sprache	English
Letzte Revision	27. September 2011

von bösartiger Software einschließlich Fehlalarmtest

Datum der Veröffentlichung	2011-09-28
Datum der Überarbeitung	2011-09-27
Prüfzeitraum	August 2011
Anzahl der Testfälle	206043
Online mit Cloud-Konnektivität
Update erlaubt
False-Alarm Test inklusive
Plattform/OS	Microsoft Windows

Geprüfte Produkte
Test-Ergebnisse
Zusammenfassung - Ergebnis
Awards

Einführung

Der Dateierkennungstest ist einer der aussagekräftigsten Faktoren zur Bewertung der Wirksamkeit einer Antiviren-Engine. Diese Testberichte werden zweimal im Jahr veröffentlicht, einschließlich eines Fehlalarmtests. Weitere Einzelheiten entnehmen Sie bitte den Dokumenten zur Methodik sowie den Informationen auf unserer Website. In diesem Test wurden die folgenden 20 aktuellen Sicherheitsprodukte anhand von 206043 verbreiteten Malware-Samples getestet.

Detailed Report (EN)

Geprüfte Produkte

Testverfahren

Jedes Testsystem läuft unter Microsoft Windows XP SP3 mit einem entsprechenden Sicherheitsprodukt, das zuletzt am 1.^. vom August 2011. Die Malware-Sets wurden am 12.^. August 2011. Alle Produkte hatten während des Tests Internet-/Cloud-Zugang und wurden mit den Standardeinstellungen getestet. Um sicherzustellen, dass alle Dateierkennungsfunktionen genutzt werden, haben wir bei allen Produkten die Überprüfung aller Dateien, die Überprüfung von Archiven und die Überprüfung auf PUA aktiviert.

Auf jedem Testsystem wird der Malware-Satz gescannt. Die vom Sicherheitsprodukt gemachten Erkennungen werden notiert und analysiert. Obwohl bei diesem Test keine Proben ausgeführt wurden, haben wir Fälle in Betracht gezogen, in denen Malware beim Zugriff, aber nicht bei Bedarf erkannt wird. Der Test wird daher File Detection Test genannt (im Gegensatz zu den früheren On-Demand-Tests), da On-Access-Scans berücksichtigt werden.

Bitte beachten Sie: Mehrere Produkte nutzen Cloud-Technologien, die eine aktive Internetverbindung erfordern. Unsere Tests werden mit einer aktiven Internetverbindung durchgeführt. Benutzer sollten sich bewusst sein, dass die Erkennungsraten in einigen Fällen drastisch niedriger sein können, wenn der Scan offline durchgeführt wird (oder wenn der Cloud-Dienst aus verschiedenen Gründen nicht erreichbar ist). Die Cloud sollte als zusätzlicher Vorteil/Funktion zur Erhöhung der Erkennungsraten (sowie der Reaktionszeiten und der Unterdrückung von Fehlalarmen) betrachtet werden und nicht als vollständiger Ersatz für lokale Offline-Erkennungen. Die Anbieter sollten sicherstellen, dass die Benutzer angemessen gewarnt werden, falls die Verbindung zur Cloud unterbrochen wird, was den Schutz erheblich beeinträchtigen und z. B. einen eingeleiteten Scan unbrauchbar machen kann. Während wir in unserem Test prüfen, ob die Cloud-Dienste der jeweiligen Sicherheitsanbieter erreichbar sind, sollten sich die Nutzer darüber im Klaren sein, dass online zu sein nicht unbedingt bedeutet, dass der Cloud-Dienst der von ihnen genutzten Produkte auch erreichbar ist bzw. ordnungsgemäß funktioniert. Tatsächlich haben Produkte mit Cloud-Funktionalität manchmal verschiedene Netzwerkprobleme, aufgrund derer keine Cloud-Sicherheit bereitgestellt wird, ohne dass der Benutzer gewarnt wird. AMTSO verfügt über einen rudimentären Test, um die ordnungsgemäße Funktion von Cloud-gestützten Produkten zu überprüfen.

Testfälle

Der verwendete Testsatz wurde unter Hinzuziehung von Telemetriedaten erstellt, um die am weitesten verbreiteten Malware-Samples aus den letzten Wochen/Monaten vor dem Testdatum einzubeziehen, die die Nutzer in der Praxis gefährden, und bestand aus 206043 Samples. Darüber hinaus wurde die Verteilung der Familien im Testsatz anhand der Familienprävalenz gewichtet und auf der Grundlage der globalen Telemetriedaten von Microsoft erstellt. Das bedeutet, dass je verbreiteter eine Malware-Familie ist, desto mehr Proben aus dieser Familie werden in die Testgruppe aufgenommen.

Hierarchische Clusteranalyse

Dieses Dendrogramm zeigt die Ergebnisse der Clusteranalyse. Es zeigt an, auf welchem Ähnlichkeitsniveau die Cluster miteinander verbunden sind. Die rot eingezeichnete Linie definiert den Grad der Ähnlichkeit. Jeder Schnittpunkt zeigt eine Gruppe an.

Ranking-System

Die Malware-Erkennungsraten werden von den Testern gruppiert, nachdem sie die mit der hierarchischen Clustermethode gebildeten Cluster betrachtet haben. Allerdings halten sich die Tester in Fällen, in denen dies nicht sinnvoll wäre, nicht strikt daran. In einem Szenario, in dem beispielsweise alle Produkte niedrige Erkennungsraten erreichen, erhalten die Produkte mit den höchsten Werten nicht unbedingt die höchstmögliche Auszeichnung.

	Erkennungsrate Cluster/Gruppen (von den Testern nach Konsultation statistischer Methoden angegeben)
	4	3	2	1
Sehr wenige (0-2 FPs) Wenig (3-15 FP's)	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele (16-100 FPs)	TESTED	TESTED	STANDARD	ADVANCED
Sehr viele (101-500 FPs)	TESTED	TESTED	STANDARD	STANDARD
Verrückt viele (über 500 FPs)	TESTED	TESTED	TESTED	TESTED

Test-Ergebnisse

Der verwendete Testsatz enthielt 206043 aktuelle/prävalente Stichproben aus den letzten Wochen/Monaten. Wir schätzen die verbleibende Fehlerspanne bei den endgültigen Prozentsätzen auf unter 0,2%.

Gesamtentdeckungsraten (in Gruppen zusammengefasst)

Bitte beachten Sie auch die Falschalarmraten, wenn Sie sich die nachstehenden Dateierkennungsraten ansehen.

1.	G Data	99.7%
2.	Trustport	99.6%
3.	Avira, Qihoo	99.5%
4.	Panda	99.3%
5.	eScan, F-Secure	98.5%
6.	Bitdefender	98.4%
7.	Kaspersky	98.3%
8.	Avast, ESET	97.3%
9.	McAfee	96.8%
10.	Trend Micro	96.6%
11.	AVG	95.7%
12.	Symantec	95.1%

13.	Sophos, Webroot	94.2%
14.	Microsoft	92.3%

15.	PC-Werkzeuge	88.4%

16.	K7	85.6%

Wir haben beobachtet, dass einige wenige Anbieter möglicherweise versuchen, die Tests zu manipulieren, um höhere Punktzahlen zu erzielen. Zu diesen Praktiken gehört z. B. das starke Ablehnen bösartiger Dateien als "sauber" oder "potenziell erwünschte Software" usw. Einige versuchen, jede bösartige Datei, die vom eigenen Produkt nicht erkannt wird, als "unwichtig/nicht verbreitet" abzustreiten, selbst wenn andere Telemetriedaten das Gegenteil beweisen. Manchmal behaupten einige Anbieter auch, dass ihre Cloud alle Muster hätte erkennen müssen, die unserer Meinung nach nicht erkannt wurden. Oft konnten wir nachweisen, dass sie auch mit einer aktuellen Cloud/einem aktuellen Produkt nicht erkannt werden oder damals nicht erkannt werden konnten. Unserer Meinung nach sollten Anbieter, die sich auf die Cloud verlassen, sicherstellen, dass ihre Produkte immer in der Lage sind, Cloud-Daten zu senden/zu empfangen und den Benutzer zu warnen, wenn ihre Cloud offline/unerreichbar ist. Wenn die Cloud eines Anbieters zum Zeitpunkt des Tests nicht erreichbar ist, ist dies der Fehler des Produkts/Anbieters und nicht des Nutzers oder des Tests, solange dieser mit einer aktiven Internetverbindung durchgeführt wird. Die Ergebnisse spiegeln die Erkennungsrate wider, die zu diesem Zeitpunkt gegeben ist. Wenn bestimmte Clouds eine absolut stabile und ultraschnelle Internetverbindung erfordern, sollte dies in den Systemanforderungen deutlich gemacht werden. Andernfalls sollten die Anbieter den Privatnutzern lokale Clouds zur Verfügung stellen, wie es einige bereits für Unternehmen mit strengen Datenschutzrichtlinien tun.
Darüber hinaus versuchen manche Anbieter, die sich in einem Test schlecht abschneiden, aus Marketinggründen, ihre Ergebnisse aus dem Test zu entfernen. Wir erlauben es jedoch nicht, sich aus Tests zurückzuziehen, da wir unseren Lesern die Ergebnisse zur Verfügung stellen wollen. Vielleicht denken wir in Zukunft darüber nach, wie wir auch dieses Problem lösen können.

Grafik der verpassten Proben (niedriger ist besser)

Die Prozentzahlen beziehen sich nur auf den verwendeten Testsatz. Selbst wenn es sich nur um eine Teilmenge von Malware handelt, ist es wichtig, die Anzahl der übersehenen Malware zu betrachten.

Die Ergebnisse unserer On-Demand-Tests gelten in der Regel auch für den On-Access-Scanner (wenn dieser gleich konfiguriert ist), nicht aber für Technologien zum Schutz bei der Ausführung (wie HIPS, Verhaltensblocker usw.).

Eine gute Erkennungsrate ist immer noch eine der wichtigsten, deterministischen und zuverlässigen Eigenschaften eines Antivirenprodukts. Zusätzlich bieten die meisten Produkte zumindest eine Art von HIPS, verhaltensbasierte, reputationsbasierte oder andere Funktionen, um bösartige Aktionen zu blockieren (oder zumindest vor der Möglichkeit solcher Aktionen zu warnen), z. B. während der Ausführung von Malware, wenn alle anderen On-Access- und On-Demand-Erkennungs-/Schutzmechanismen versagt haben.

Bitte verpassen Sie nicht den zweiten Teil des Berichts (er wird in einigen Monaten veröffentlicht), der den retrospektiven Test enthält, in dem bewertet wird, wie gut die Produkte bei der Erkennung völlig neuer/unbekannter Malware sind (durch On-Demand/On-Access-Scanner mit lokaler Heuristik und generischen Signaturen ohne Cloud).

Auch wenn wir verschiedene Tests liefern und verschiedene Aspekte der Antiviren-Software aufzeigen, wird den Benutzern empfohlen, die Software selbst zu bewerten und sich eine eigene Meinung darüber zu bilden. Testdaten oder Rezensionen bieten nur Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen und ermutigen die Leser, auch andere unabhängige Testergebnisse zu recherchieren, die von verschiedenen bekannten und etablierten unabhängigen Prüforganisationen bereitgestellt werden, um einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in verschiedenen Testszenarien und mit verschiedenen Test-Sets zu erhalten.

On-Demand-Scan-Geschwindigkeitstest

Antivirenprodukte haben aus verschiedenen Gründen unterschiedliche Scangeschwindigkeiten. Es muss berücksichtigt werden, wie zuverlässig die Erkennungsrate eines Antiviren-Produkts ist; ob das Antiviren-Produkt Code-Emulation verwendet, ob es Cloud-Daten abfragt, ob es eine tiefe heuristische Scan-Analyse und einen aktiven Rootkit-Scan durchführt, wie tief und gründlich die Unterstützung für das Entpacken und Entpacken von Archiven ist, zusätzliche Sicherheits-Scans, ob es wirklich alle Dateitypen scannt (oder z. B. Whitelists in der Cloud verwendet) usw. Die meisten Produkte verfügen über Technologien zur Verringerung der Scanzeiten bei nachfolgenden Scans, indem zuvor gescannte Dateien übersprungen werden. Da wir die Scangeschwindigkeit (wenn Dateien wirklich nach Malware gescannt werden) und nicht die Geschwindigkeit des Überspringens von Dateien wissen wollen, sind diese Fingerprinting-Technologien deaktiviert und werden hier nicht berücksichtigt. Unserer Meinung nach sollten einige Produkte die Benutzer deutlicher über die leistungsoptimierten Scans informieren und sie dann entscheiden lassen, ob sie einen kurzen leistungsoptimierten Scan (bei dem nicht alle Dateien erneut überprüft werden, was das Risiko birgt, dass infizierte Dateien übersehen werden) oder einen vollständigen Sicherheitsscan bevorzugen.
Das folgende Diagramm zeigt die Durchsatzrate in MB/s (je höher, desto schneller) der verschiedenen Antivirenprodukte bei der On-Demand-Überprüfung mit den höchsten Einstellungen für alle sauberen Dateien, die für den Fehlalarmtest verwendet wurden. Die Durchsatzrate beim Scannen hängt von der Menge der sauberen Dateien, den Einstellungen und der verwendeten Hardware ab.

Die durchschnittliche Scandurchsatzrate (Scangeschwindigkeit) errechnet sich aus der Größe der bereinigten Datei in MB geteilt durch die für den Abschluss des Scans benötigte Zeit in Sekunden. Die Scan-Durchsatzrate dieses Tests kann nicht mit zukünftigen Tests oder mit anderen Tests verglichen werden, da sie von der Menge der Dateien, der verwendeten Hardware usw. abhängt. Die Scangeschwindigkeitstests wurden unter Windows XP SP3 auf identischen Intel Core 2 Duo E8300/2.83GHz, 2GB RAM und SATA II Festplatten durchgeführt.
Im Jahr 2012 werden wir den On-Demand-Scan-Geschwindigkeitstest nicht mehr anbieten.

False Positives (False Alarm) Test - Ergebnis

Um die Qualität der Erkennungsfunktionen (Unterscheidung zwischen guten und bösartigen Dateien) von Antivirenprodukten besser beurteilen zu können, bieten wir einen Fehlalarmtest an. Falsche Alarme können manchmal genauso viel Ärger verursachen wie eine echte Infektion. Bitte berücksichtigen Sie die Fehlalarmrate bei der Betrachtung der Erkennungsraten, da ein Produkt, das zu Fehlalarmen neigt, leichter eine höhere Punktzahl erreicht. Alle entdeckten Fehlalarme wurden den jeweiligen Anbietern von Antivirenprogrammen gemeldet und behoben.

1.	McAfee	0	sehr wenige FPs
2.	Kaspersky, Microsoft, Panda	1
3.	ESET	3

4.	F-Secure, Trend Micro	6	wenige FPs
5.	Bitdefender	8
6.	Avast	10
7.	Avira	11
8.	G Data	14

9.	Sophos, Webroot	16	viele FPs
10.	K7	23
11.	Qihoo	25
12.	eScan	29
13.	PC-Werkzeuge	45
14.	AVG	51
15.	Symantec	57
16.	Trustport	59

Einzelheiten zu den entdeckten Fehlalarmen (einschließlich ihrer vermuteten Häufigkeit) sind in einem separaten Bericht zu finden, der unter folgender Adresse abrufbar ist: http://www.av-comparatives.org/wp-content/uploads/2012/04/avc_fps_201108_en.pdf

Zusammenfassung - Ergebnis

Ein Produkt, das einen hohen Prozentsatz bösartiger Dateien erkennt, aber unter Fehlalarmen leidet, ist nicht unbedingt besser als ein Produkt, das weniger bösartige Dateien erkennt, aber weniger Fehlalarme erzeugt.

Das folgende Diagramm zeigt die kombinierten Dateierkennungsraten und Fehlalarme.

Während des Tests erzielten Sophos und Webroot (die ebenfalls Sophos Technologie verwenden) aufgrund von Problemen mit ihrer Cloud-Technologie niedrigere Erkennungsraten. Bei weiteren Untersuchungen in Zusammenarbeit mit dem Anbieter konnte die Ursache des Problems nicht ermittelt werden, so dass die angezeigten Ergebnisse Erkennungen in der Cloud enthalten. Da wir nicht in der Lage sind, diese unabhängig zu verifizieren (da die Cloud nicht zurückgesetzt werden kann), werden die Ergebnisse von Webroot und Sophos "außer Konkurrenz" angezeigt. Die Ergebnisse von Sophos und Webroot sind nur eine grobe Schätzung. Sophos und Webroot hatten eine Erkennungsrate von ~94,2%. Obwohl die betroffenen Anbieter in Ordnung sind, müssen wir ihr Cloud-Problem auf diese Weise behandeln, um einen potenziellen Missbrauch / Spielereien anderer Anbieter in zukünftigen Tests zu vermeiden.

In diesem Dateierkennungstest erreichte Auszeichnungsstufen

AV-Comparatives bietet Ranking-Auszeichnungen. Da dieser Bericht auch die rohen Erkennungsraten und nicht nur die Auszeichnungen enthält, können sich erfahrene Benutzer, die sich z. B. nicht um Fehlalarme kümmern, auf diese Bewertung allein verlassen, wenn sie dies möchten. Die Auszeichnungen basieren nicht nur auf den Erkennungsraten - auch Fehlalarme, die in unseren sauberen Dateien gefunden wurden, werden berücksichtigt.

* Diese Produkte wurden aufgrund der Fehlalarme schlechter bewertet.

Anmerkungen

Informationen über zusätzliche Engines/Signaturen von Drittanbietern, die in den Produkten verwendet werden: eScan, F-Secure und Qihoo 360 basieren auf der Bitdefender-Engine. G Data basiert auf den Engines von Avast und Bitdefender. PC-Werkzeuge verwendet die Signaturen von Symantec. Trustport basiert auf den Engines von AVG und Bitdefender. Webroot basiert auf der Sophos Engine.

Avast, AVG, AVIRA und Panda wollten sich mit ihrer kostenlosen Produktversion an den Tests beteiligen.

Auch wenn wir verschiedene Tests durchführen und verschiedene Aspekte der Antiviren-Software aufzeigen, sollten die Benutzer die Software selbst bewerten und sich ihre eigene Meinung bilden. Testdaten oder Rezensionen bieten lediglich Anhaltspunkte zu einigen Aspekten, die der Benutzer nicht selbst beurteilen kann. Wir empfehlen den Lesern, zusätzlich andere unabhängige Testergebnisse verschiedener bekannter und etablierter unabhängiger Prüforganisationen zu konsultieren, um sich einen besseren Überblick über die Erkennungs- und Schutzfähigkeiten der verschiedenen Produkte in unterschiedlichen Testszenarien und mit verschiedenen Test-Sets zu verschaffen. Eine Liste verschiedener seriöser Testlabore finden Sie auf unserer Website.

Heutzutage, fast alle Produkte laufen standardmäßig mit den höchsten Schutzeinstellungen (zumindest bei bedarfsgesteuerten/geplanten Scans), einige schalten jedoch automatisch auf die höchsten Einstellungen um, sobald eine Infektion erkannt wird. Aus diesem Grund und um vergleichbare Ergebnisse zu gewährleisten, Wir haben alle Produkte mit den höchsten Einstellungen getestet, es sei denn, die Anbieter von Sicherheitslösungen haben ausdrücklich etwas anderes empfohlen. Die Hersteller können dies tun, weil sie es vorziehen, dass die höchsten Einstellungen aufgrund der hohen Anzahl von Fehlalarmen nicht verwendet werden, oder vielleicht haben die höchsten Einstellungen eine Auswirkung auf die Leistung, oder vielleicht planen sie, die Einstellung in naher Zukunft zu ändern/abzuschaffen. Im Folgenden finden Sie einige Hinweise zu den verwendeten Einstellungen (alle Dateien scannen usw. ist immer aktiviert), z. B.: wo die Einstellungen nicht standardmäßig auf die höchste Stufe gesetzt sind:

Avast, AVIRA, Kaspersky, Symantec: gebeten, mit einer auf hoch/erweitert eingestellten Heuristik getestet zu werden. Aus diesem Grund empfehlen wir den Nutzern, auch die Heuristik auf hoch/erweitert zu setzen.
F-Secure, Sophos: gebeten, auf der Grundlage ihrer Standardeinstellungen getestet und ausgezeichnet zu werden (d. h. ohne Verwendung ihrer erweiterten Heuristik-/Verdachtserkennungseinstellungen).
AVG, AVIRA: gebeten, die Informationswarnungen von Packern nicht zu aktivieren/als Erkennungen zu betrachten. Wir haben sie also nicht als Entdeckungen gezählt (weder im Malware-Set noch im Clean-Set).

AV-Comparatives zieht es vor, mit den Standardeinstellungen zu testen. Da die meisten Produkte standardmäßig mit den höchsten Einstellungen laufen (oder automatisch auf die höchsten Einstellungen umschalten, wenn Malware gefunden wird, was es unmöglich macht, mit den "Standard"-Einstellungen gegen verschiedene Malware zu testen), haben wir, um vergleichbare Ergebnisse zu erhalten, auch die wenigen verbleibenden Produkte auf die höchsten Einstellungen gesetzt (oder sie auf niedrigeren Einstellungen belassen), in Übereinstimmung mit den jeweiligen Anbietern. Wir bitten die Hersteller, stärkere Standardeinstellungen vorzunehmen, d.h. ihre Standardeinstellungen auf die höchste Erkennungsstufe zu setzen, insbesondere bei geplanten oder vom Benutzer initiierten Scans wäre dies sinnvoller. Wir bitten die Hersteller außerdem, paranoide Einstellungen in der Benutzeroberfläche zu entfernen, die zu hoch sind, um für normale Benutzer jemals von Nutzen zu sein. Da sich einige Hersteller dazu entschlossen haben, mit den stärkeren Einstellungen an unseren Tests teilzunehmen, scheint es die bessere Option zu sein, die stärkeren Einstellungen standardmäßig zu verwenden, und deshalb empfehlen wir den Benutzern, diese Einstellungen ebenfalls zu verwenden.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2011 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(September 2011)