Retrospective / Proactive Test 2014
Heuristischer und verhaltensbasierter Schutz vor neuer/unbekannter Schadsoftware
Datum der Veröffentlichung | 2014-04-04 |
Datum der Überarbeitung | 2014-06-26 |
Prüfzeitraum | März 2014 |
Anzahl der Testfälle | 1200 |
Online mit Cloud-Konnektivität | |
Update erlaubt | |
False-Alarm Test inklusive | |
Plattform/OS | Microsoft Windows |
Einleitung
Täglich tauchen viele neue Malware-Muster auf. Deshalb ist es wichtig, dass Antivirenprodukte nicht nur so häufig und so schnell wie möglich neue Updates bereitstellen, sondern auch in der Lage sind, solche Bedrohungen mit generischen/heuristischen Techniken im Voraus zu erkennen, oder andernfalls mit verhaltensorientierten Schutzmaßnahmen. Auch wenn die meisten Antivirenprodukte heutzutage tägliche, stündliche oder Cloud-Updates anbieten, gibt es ohne proaktive Methoden immer einen Zeitrahmen, in dem der Benutzer nicht zuverlässig geschützt ist. Ziel dieses Tests ist es, die proaktiven Erkennungs- und Schutzraten in diesem Zeitfenster (ohne Cloud) zu bewerten. Die Daten zeigen, wie gut die proaktive heuristische/generische Erkennung und die verhaltensbasierten Schutzfunktionen der Scanner bei der Erkennung neuer Bedrohungen in diesem Test waren. Aufgrund der Konzeption und des Umfangs des Tests wurden nur die heuristische/generische Erkennungsleistung und die verhaltensbasierte Schutzleistung (offline) getestet. Zusätzliche Schutztechnologien (die von der Cloud-Konnektivität abhängen) und Infektionsvektoren werden von AV-Comparatives z.B. in den dynamischen ("Real-World") Schutztests für das gesamte Produkt und in anderen Tests berücksichtigt, liegen aber außerhalb des Rahmens der retrospektiven/proaktiven Tests.
Dieser Prüfbericht ist der zweite Teil der Prüfung im März 2014. Der Bericht wird aufgrund des hohen Arbeitsaufwands, der vertieften Analyse, der Vorbereitung und der dynamischen Durchführung des retrospektiven Testsatzes erst mehrere Monate später vorgelegt. Diese Art von Test wird nur einmal im Jahr durchgeführt und beinhaltet ein Element zum Verhaltensschutz, bei dem alle Malware-Samples ausgeführt und die Ergebnisse beobachtet werden. Obwohl es viel Arbeit ist, erhalten wir in der Regel gute Rückmeldungen von verschiedenen Anbietern, da diese Art von Test es ihnen ermöglicht, Fehler und verbesserungswürdige Bereiche in den Verhaltensroutinen zu finden (da dieser Test speziell die proaktiven heuristischen und verhaltensbezogenen Schutzkomponenten bewertet).
Die Produkte verwendeten dieselben Aktualisierungen und Signaturen, die sie auch auf dem 7.. März 2014. Dieser Test zeigt die proaktiven Schutzfunktionen, die die Produkte zu diesem Zeitpunkt hatten. Wir haben 1.200 neue, einzigartige und sehr verbreitete Malware-Samples verwendet, die kurz nach dem Einfrierungsdatum erstmals auftauchten. Der Umfang des Testsatzes wurde außerdem auf einen kleineren Satz reduziert, der nur ein einziges Muster pro Variante enthält, um den Anbietern eine zeitnahe Überprüfung unserer Ergebnisse zu ermöglichen. Die folgenden Produkte wurden getestet:
Geprüfte Produkte
Testverfahren
Was ist mit der Cloud? Selbst mehrere Wochen später wurden einige der verwendeten Malware-Samples immer noch nicht von einigen Cloud-abhängigen Produkten erkannt, selbst wenn deren Cloud-basierte Funktionen verfügbar waren. Wir halten es daher für eine Marketing-Ausrede, wenn bei retrospektiven Tests - die den proaktiven Schutz vor neuer Malware testen - kritisiert wird, dass Cloud-Ressourcen nicht genutzt werden dürfen. Dies gilt insbesondere, wenn man bedenkt, dass in vielen Unternehmensumgebungen die Cloud-Verbindung durch die Unternehmensrichtlinien deaktiviert ist und die Erkennung neuer Malware, die in das Unternehmen gelangt, oft von anderen Produktfunktionen übernommen werden muss (oder soll). Cloud-Funktionen sind für die Anbieter von Sicherheitssoftware sehr (wirtschaftlich) günstig und ermöglichen die Erfassung und Verarbeitung großer Mengen von Metadaten. In den meisten Fällen (nicht in allen) beruhen sie jedoch immer noch auf der Aufnahme bekannter Malware in die schwarze Liste, d. h. wenn eine Datei völlig neu/unbekannt ist, kann die Cloud in der Regel nicht feststellen, ob sie gut oder bösartig ist.
Testfälle
In die retrospektive Testreihe haben wir nur neue Malware aufgenommen, die kurz nach dem Einfrierdatum in der Praxis sehr verbreitet war. Proben, die von den heuristischen/generischen Erkennungsfunktionen der Produkte nicht erkannt wurden, wurden dann ausgeführt, um zu sehen, ob Verhaltensblocker sie stoppen würden. In mehreren Fällen stellten wir fest, dass Verhaltensblocker nur vor einigen abgelegten Malware-Komponenten oder Systemänderungen warnten, ohne vor allen bösartigen Aktionen der Malware zu schützen; solche Fälle wurden nicht als Blockierung gezählt. Da Verhaltensblocker erst nach der Ausführung der Malware zum Einsatz kommen, bleibt ein gewisses Risiko bestehen, kompromittiert zu werden (selbst wenn das Sicherheitsprodukt behauptet, die Bedrohung blockiert/entfernt zu haben). Daher ist es besser, wenn Malware vor ihrer Ausführung erkannt wird, z. B. durch den On-Access-Scanner, der Heuristiken verwendet. Aus diesem Grund sollten Verhaltensblocker als Ergänzung zu den anderen Funktionen eines Sicherheitsprodukts (mehrschichtiger Schutz) betrachtet werden und nicht als Ersatz.
Ranking-System
Die Auszeichnungen werden von den Testern vergeben, nachdem sie eine Reihe von statistischen Methoden, darunter auch hierarchisches Clustering, herangezogen haben. Wir haben unsere Entscheidungen nach dem folgenden Schema getroffen:
Keine - Wenige FPs | ||||
Viele FPs | ||||
Sehr viele FPs | ||||
Verrückt viele FPs |
Test-Ergebnisse
Um zu erfahren, wie diese Antivirenprodukte mit aktualisierten Signaturen und Cloud-Verbindung gegen gängige Malware-Dateien abschneiden, werfen Sie bitte einen Blick auf unsere Datei-Erkennungstests vom März und September. Um herauszufinden, wie hoch der Online-Schutz der verschiedenen Produkte unter realen Bedingungen ist, lesen Sie bitte unsere fortlaufenden Tests zum dynamischen "Real-World"-Schutz des gesamten Produkts. Die Leser sollten sich die Ergebnisse ansehen und anhand ihrer individuellen Bedürfnisse entscheiden, welches Produkt für sie am besten geeignet ist. So sollten beispielsweise Laptop-Benutzer, die sich Sorgen über Infektionen z. B. durch infizierte Flash-Laufwerke machen, während sie offline sind, diesem Proactive-Test besondere Aufmerksamkeit schenken.
False Positives (False Alarm) Test - Ergebnis
Um die proaktiven Erkennungsfähigkeiten besser beurteilen zu können, muss auch die Fehlalarmrate berücksichtigt werden. Ein Fehlalarm (oder False Positive [FP]) tritt auf, wenn ein Antivirenprodukt eine harmlose Datei als infiziert kennzeichnet. Falsche Alarme können manchmal genauso viel Ärger verursachen wie echte Infektionen.
Die Ergebnisse des Fehlalarmtests waren bereits im Testbericht vom März enthalten. Einzelheiten finden Sie in dem Bericht, der unter folgender Adresse verfügbar ist http://www.av-comparatives.org/wp-content/uploads/2014/04/avc_fps_201403_en.pdf
1. | ESET | 1 | sehr wenige FPs | |
2. | Fortinet | 2 | wenige FPs | |
3. | Bitdefender, BullGuard, Emsisoft, Lavasoft, Tencent | 3 | ||
4. | eScan | 4 | ||
5. | F-Secure | 5 | ||
6. | AVG, Kaspersky | 9 | ||
7. | AhnLab | 16 | viele FPs |
Ein kleiner Verhaltenstest, bei dem die 200 am häufigsten heruntergeladenen und im Februar veröffentlichten Softwarepakete verwendet wurden, ergab keine zusätzlichen Fehlalarme.
Zusammenfassung - Ergebnis
Die Ergebnisse zeigen die proaktiven (generischen/heuristischen/verhaltensbasierten) Schutzfunktionen der verschiedenen Produkte gegen neue Malware. Die Prozentsätze sind auf die nächste ganze Zahl gerundet.
Unten sehen Sie die Ergebnisse des proaktiven Schutzes über unseren Satz neuer und verbreiteter Malware-Dateien/Familien, die im Feld auftauchten (1.200 Malware-Samples):
Blocked | User Dependent[1] | Kompromitiert | Proaktiv / Schutzrate | False-Positives (FPs) | Cluster | |
Bitdefender | 1180 | – | 20 | 98% | wenige | 1 |
Kaspersky Lab | 1150 | 21 | 29 | 97% | wenige | 1 |
ESET | 1078 | – | 122 | 90% | sehr wenige | 1 |
F-Secure | 1060 | – | 140 | 88% | wenige | 1 |
eScan | 851 | 348 | 1 | 85% | wenige | 1 |
Emsisoft | 886 | 275 | 39 | 85% | wenige | 1 |
BullGuard | 846 | 314 | 40 | 84% | wenige | 1 |
Microsoft | 900 | – | 300 | 75% | sehr wenige | 2 |
Tencent | 804 | 191 | 205 | 75% | wenige | 2 |
AVG | 795 | 191 | 214 | 74% | wenige | 2 |
Lavasoft | 876 | – | 324 | 73% | wenige | 2 |
Fortinet | 786 | – | 414 | 66% | wenige | 3 |
AhnLab | 687 | – | 513 | 57% | viele | 3 |
[1] Benutzerabhängige Fälle wurden zur Hälfte angerechnet. Beispiel: Wenn ein Programm selbst 80% Malware blockiert, plus weitere 20% benutzerabhängige Fälle, erhält es insgesamt 90%, d. h. 80% + (20% x 0,5).
In diesem Heuristik-/Verhaltenstest erreichte Punktzahlen
Die folgenden Auszeichnungen beziehen sich auf die Ergebnisse des proaktiven/verhaltensbasierten Tests, wobei nicht nur die Schutzraten vor neuer Malware, sondern auch die Fehlalarmraten berücksichtigt wurden:
Anmerkungen
Dieser Test ist ein optionaler Teil unserer öffentlichen Haupttestreihe, d.h. die Hersteller können zu Beginn des Jahres entscheiden, ob sie ihre jeweiligen Produkte in den Test aufnehmen wollen. Der Test wird derzeit nur dann als Teil der öffentlichen Haupttestreihe durchgeführt, wenn sich eine Mindestanzahl von Herstellern dafür entscheidet, daran teilzunehmen.
Die Sicherheitsprodukte von Microsoft werden auf der Seite mit den Auszeichnungen nicht berücksichtigt, da ihr Out-of-Box-Schutz (optional) im Betriebssystem enthalten ist und derzeit als nicht konkurrenzfähig gilt.
Eine Zusammenfassung und ein Kommentar zu unserer Testmethodik, die vor zwei Jahren vom PC Mag veröffentlicht wurde, könnten für die Leser von Interesse sein: http://securitywatch.pcmag.com/security-software/315053-can-your-antivirus-handle-a-zero-day-malware-attack
Copyright und Haftungsausschluss
Diese Veröffentlichung ist Copyright © 2014 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.
Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.
AV-Comparatives
(April 2014)