Retrospective / Proactive Test 2013

Einleitung

Täglich tauchen viele neue Malware-Muster auf. Deshalb ist es wichtig, dass Antivirenprodukte nicht nur so häufig und so schnell wie möglich neue Updates bereitstellen, sondern auch in der Lage sind, solche Bedrohungen mit generischen/heuristischen Techniken im Voraus zu erkennen, oder andernfalls mit verhaltensorientierten Schutzmaßnahmen. Auch wenn die meisten Antivirenprodukte heutzutage tägliche, stündliche oder Cloud-Updates anbieten, gibt es ohne proaktive Methoden immer einen Zeitrahmen, in dem der Benutzer nicht zuverlässig geschützt ist. Ziel dieses Tests ist es, die proaktiven Erkennungs- und Schutzraten in diesem Zeitfenster (ohne Cloud) zu bewerten. Die Daten zeigen, wie gut die proaktive heuristische/generische Erkennung und die verhaltensbasierten Schutzfunktionen der Scanner bei der Erkennung neuer Bedrohungen in diesem Test waren. Aufgrund der Konzeption und des Umfangs des Tests wurden nur die heuristische/generische Erkennung und die verhaltensbasierten Schutzfunktionen getestet (offline). Zusätzliche Schutztechnologien (die von der Cloud-Konnektivität abhängen) und Infektionsvektoren werden von AV-Comparatives z.B. in den dynamischen ("Real-World") Schutztests für das gesamte Produkt und in anderen Tests berücksichtigt, liegen aber außerhalb des Anwendungsbereichs der retrospektiven/proaktiven Tests. Weitere Einzelheiten entnehmen Sie bitte den Methodik-Dokumenten sowie den Informationen auf unserer Website.

Dieser Prüfbericht ist der zweite Teil der Prüfung im März 2013. Der Bericht wird aufgrund des hohen Arbeitsaufwands, der vertieften Analyse, der Vorbereitung und der dynamischen Durchführung des retrospektiven Testsatzes erst mehrere Monate später vorgelegt. Diese Art von Test wird nur einmal im Jahr durchgeführt und beinhaltet ein Element zum Verhaltensschutz, bei dem alle Malware-Samples ausgeführt und die Ergebnisse beobachtet werden. Obwohl es viel Arbeit ist, erhalten wir in der Regel gute Rückmeldungen von verschiedenen Anbietern, da diese Art von Test es ihnen ermöglicht, Fehler und verbesserungswürdige Bereiche in den Verhaltensroutinen zu finden (da dieser Test speziell die proaktiven heuristischen und verhaltensbezogenen Schutzkomponenten bewertet).

Die Produkte verwendeten dieselben Aktualisierungen und Signaturen, die sie auf dem 28.^. März 2013. Dieser Test zeigt die proaktiven Schutzfunktionen, die die Produkte zu diesem Zeitpunkt hatten. Wir haben 1.109 neue, einzigartige und sehr verbreitete Malware-Samples verwendet, die kurz nach dem Einfrierungsdatum erstmals auftraten. Der Umfang des Testsatzes wurde außerdem auf einen kleineren Satz reduziert, der nur ein einziges Muster pro Variante enthält, um den Anbietern eine zeitnahe Überprüfung unserer Ergebnisse zu ermöglichen. Die folgenden Produkte wurden getestet:

Geprüfte Produkte

• AhnLab V3 Internet Security 8.0
• Avast Free Antivirus 8.0
• Avira Antivirus Pro 2013
• Bitdefender Antivirus+ 2013
• BullGuard Antivirus 2013
• Emsisoft Anti-Malware 7.0
• eScan Anti-Virus 14.0
• ESET NOD32 Antivirus 6.0
• F-Secure Anti-Virus 2013
• Fortinet FortiClient 5.0
• G DATA AntiVirus 2013
• Kaspersky Anti-Virus 2013
• Kingsoft Antivirus 2013
• Microsoft Security Essentials 4.2
• Panda Free Antivirus 2.1.1
• Tencent PC Manager 7.4
• ThreatTrack Vipre Antivirus 2013

Testverfahren

Was ist mit der Cloud? Selbst mehrere Wochen später wurden einige der verwendeten Malware-Samples immer noch nicht von einigen Cloud-abhängigen Produkten erkannt, selbst wenn deren Cloud-basierte Funktionen verfügbar waren. Wir halten es daher für eine Marketing-Ausrede, wenn bei retrospektiven Tests - die den proaktiven Schutz vor neuer Malware testen - kritisiert wird, dass Cloud-Ressourcen nicht genutzt werden dürfen. Dies gilt insbesondere, wenn man bedenkt, dass in vielen Unternehmensumgebungen die Cloud-Verbindung durch die Unternehmensrichtlinien deaktiviert ist und die Erkennung neuer Malware, die in das Unternehmen gelangt, oft von anderen Produktfunktionen übernommen werden muss (oder soll). Cloud-Funktionen sind für die Anbieter von Sicherheitssoftware sehr (wirtschaftlich) günstig und ermöglichen die Erfassung und Verarbeitung großer Mengen von Metadaten. In den meisten Fällen (nicht in allen) beruhen sie jedoch immer noch auf der Aufnahme bekannter Malware in die schwarze Liste, d. h. wenn eine Datei völlig neu/unbekannt ist, kann die Cloud in der Regel nicht feststellen, ob sie gut oder bösartig ist.

Testfälle

In die retrospektive Testreihe haben wir nur neue Malware aufgenommen, die kurz nach dem Einfrierdatum in der Praxis sehr verbreitet war. Proben, die von den heuristischen/generischen Erkennungsfunktionen der Produkte nicht erkannt wurden, wurden dann ausgeführt, um zu sehen, ob Verhaltensblocker sie stoppen würden. In mehreren Fällen stellten wir fest, dass Verhaltensblocker nur vor einigen abgelegten Malware-Komponenten oder Systemänderungen warnten, ohne vor allen bösartigen Aktionen der Malware zu schützen; solche Fälle wurden nicht als Blockierung gezählt. Da Verhaltensblocker erst nach der Ausführung der Malware zum Einsatz kommen, bleibt ein gewisses Risiko bestehen, kompromittiert zu werden (selbst wenn das Sicherheitsprodukt behauptet, die Bedrohung blockiert/entfernt zu haben). Daher ist es besser, wenn Malware vor ihrer Ausführung erkannt wird, z. B. durch den On-Access-Scanner, der Heuristiken verwendet. Aus diesem Grund sollten Verhaltensblocker als Ergänzung zu den anderen Funktionen eines Sicherheitsprodukts (mehrschichtiger Schutz) betrachtet werden und nicht als Ersatz.

Ranking-System

Die Auszeichnungen werden von den Testern vergeben, nachdem sie eine Reihe von statistischen Methoden, darunter auch hierarchisches Clustering, herangezogen haben. Wir haben unsere Entscheidungen nach dem folgenden Schema getroffen:

	Proaktiver Schutz Tarife
	Unter 50%	3	2	1
Keine - Wenige FPs	TESTED	STANDARD	ADVANCED	ADVANCED+
Viele FPs	TESTED	TESTED	STANDARD	ADVANCED
Sehr viele FPs	TESTED	TESTED	TESTED	STANDARD
Verrückt viele FPs	TESTED	TESTED	TESTED	TESTED

Test-Ergebnisse

Um zu erfahren, wie diese Antivirenprodukte mit aktualisierten Signaturen und Cloud-Verbindung gegen gängige Malware-Dateien abschneiden, werfen Sie bitte einen Blick auf unsere Datei-Erkennungstests vom März und September. Um herauszufinden, wie hoch der Online-Schutz der verschiedenen Produkte unter realen Bedingungen ist, lesen Sie bitte unsere fortlaufenden Tests zum dynamischen "Real-World"-Schutz des gesamten Produkts. Die Leser sollten sich die Ergebnisse ansehen und anhand ihrer individuellen Bedürfnisse entscheiden, welches Produkt für sie am besten geeignet ist. So sollten beispielsweise Laptop-Benutzer, die sich Sorgen über Infektionen z. B. durch infizierte Flash-Laufwerke machen, während sie offline sind, diesem Proactive-Test besondere Aufmerksamkeit schenken.

False Positives (False Alarm) Test - Ergebnis

Um die proaktiven Erkennungsfähigkeiten besser beurteilen zu können, muss auch die Fehlalarmrate berücksichtigt werden. Ein Fehlalarm (oder False Positive [FP]) tritt auf, wenn ein Antivirenprodukt eine harmlose Datei als infiziert kennzeichnet. Falsche Alarme können manchmal genauso viel Ärger verursachen wie echte Infektionen.

Die Ergebnisse des Fehlalarmtests waren bereits im März-Testbericht enthalten. Für Details lesen Sie bitte den False Alarm Test März 2015.

1.	Fortinet	5	sehr wenige FPs (0-2)
2.	Kaspersky	6	wenige FPs (3-15)
3.	Avira, Tencent	8
4.	Bitdefender, BullGuard, ESET	9
5.	F-Secure, Kingsoft	11
6.	Avast	14
7.	AhnLab, G Data	19
8.	eScan	21	viele FPs (über 15)
9.	Panda	28
10.	ThreatTrack	30
11.	Emsisoft	38

Ein kleiner Verhaltenstest zu Fehlalarmen, bei dem die 100 am häufigsten heruntergeladenen und im Februar veröffentlichten Softwarepakete verwendet wurden, ergab keine zusätzlichen Fehlalarme.

Zusammenfassung - Ergebnis

Die Ergebnisse zeigen die proaktiven (generischen/heuristischen/verhaltensbasierten) Schutzfunktionen der verschiedenen Produkte gegen neue Malware. Die Prozentsätze sind auf die nächste ganze Zahl gerundet.

Unten sehen Sie die Ergebnisse des proaktiven Schutzes über unseren Satz an neuen und verbreiteten Malware-Dateien/Familien, die im Feld auftauchten (1.109 Malware-Samples):

	Blocked	User Dependent[1]	Kompromitiert	Proaktiv / Schutzrate	False-Positives (FPs)	Cluster
Bitdefender	1081	–	28	97%	wenige	1
Kaspersky	1035	14	60	94%	wenige	1
Emsisoft	972	134	3	94%	viele	1
G DATA 2013	985	60	64	92%	viele	1
BullGuard	991	–	118	89%	wenige	1
F-Secure	961	–	148	87%	wenige	1
eScan	960	–	149	87%	viele	1
Tencent	924	54	131	86%	wenige	1
ESET	949	–	160	86%	wenige	1
AVIRA	928	–	181	84%	wenige	1
Kingsoft	918	6	185	83%	wenige	1
Fortinet	911	–	198	82%	wenige	1
Panda	862	–	247	78%	viele	2
Avast	845	14	250	77%	wenige	2
Microsoft	795	–	314	72%	sehr wenige	2
AhnLab	736	–	373	66%	viele	3
Vipre	734	–	375	66%	viele	3

[1] Benutzerabhängige Fälle wurden zur Hälfte angerechnet. Beispiel: Wenn ein Programm selbst 80% Malware blockiert, plus weitere 20% benutzerabhängige Fälle, erhält es insgesamt 90%, d. h. 80% + (20% x 0,5).

Anmerkungen

Dieser Test ist ein optionaler Teil unserer öffentlichen Haupttestreihe, d.h. die Hersteller können zu Beginn des Jahres entscheiden, ob sie ihre jeweiligen Produkte in den Test aufnehmen wollen. Der Test wird derzeit nur dann als Teil der öffentlichen Haupttestreihe durchgeführt, wenn sich eine Mindestanzahl von Herstellern dafür entscheidet, daran teilzunehmen.

Die getestete Version von G Data (2013) basierte auf den Engines von Avast und Bitdefender. G DATA 2014 basiert auf der Bitdefender-Engine und einer neuen hauseigenen Engine; die Ergebnisse in diesem Bericht von G DATA 2013 sind nicht auf G DATA 2014 übertragbar.

Die Sicherheitsprodukte von Microsoft werden auf der Seite mit den Auszeichnungen nicht berücksichtigt, da ihr Out-of-Box-Schutz (optional) im Betriebssystem enthalten ist und derzeit als nicht konkurrenzfähig gilt.

Eine Zusammenfassung und ein Kommentar zu unserer Testmethodik, die vor zwei Jahren vom PC Mag veröffentlicht wurde, könnten für die Leser von Interesse sein: http://securitywatch.pcmag.com/security-software/315053-can-your-antivirus-handle-a-zero-day-malware-attack

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2013 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(April 2013)