Real-World Protection Test Dezember 2009

Einleitung

Ziel dieses Whole Product Dynamic Test ist es, den Schutz verschiedener Sicherheitslösungen zu vergleichen, indem sie unter realen Bedingungen getestet werden. In den letzten Jahren wurde viel über solche Tests und ihren Wert für Privatanwender gesprochen. Einige Probleme im Zusammenhang mit diesen Tests sind, dass sie sehr kostspielig (aufgrund des erforderlichen Zeit- und Personalaufwands) und schwer zu reproduzieren sind. Nichtsdestotrotz sind solche Tests sehr wichtig und zeigen, inwieweit die verschiedenen Sicherheitsprodukte in der Lage sind, die Benutzer vor Malware zu schützen.

Dies ist unser erster öffentlicher dynamischer Gesamtprodukttest, und obwohl unser Ziel war, viel mehr Muster zu testen, mussten wir uns aufgrund von Zeit- und Ressourcenbeschränkungen und einigen unerwarteten Problemen auf die relativ kleine Anzahl von etwa 100 Testfällen beschränken. Auf der Grundlage der Erfahrungen und Probleme, die während dieses Tests beobachtet wurden, sowie des Feedbacks von AV-Anbietern wird AV-Comparatives ab 2010 regelmäßig dynamische Tests für ganze Produkte anbieten. Dabei wird eine viel größere Anzahl von Testmustern (zur Erhöhung der statistischen Relevanz), weitere Infektionsvektoren und eine verbesserte Reproduzierbarkeit verwendet, indem ein automatisiertes System in Zusammenarbeit mit dem Institut für Informatik und Qualitätstechnik der Universität Innsbruck entwickelt wird.

In den Whole Product Dynamic Tests verwenden wir die von den Anbietern angebotenen Sicherheitssuiten. Wenn eine solche Suite nicht zur Verfügung steht, wie es derzeit bei Avast und Microsoft der Fall ist, müssen ihre Ergebnisse gemäß ihrem Wunsch als "nicht wettbewerbsfähig" betrachtet werden (obwohl wir z.B. Firewalls ohnehin nicht berücksichtigt haben). Sophos hat sich entschieden, nicht an diesem Test teilzunehmen, da ihr unternehmensorientiertes Produkt anders eingesetzt wird als die anderen verbraucherorientierten Produkte. Alle Produkte wurden mit ihren Standard-/Empfehlungseinstellungen und mit den neuesten Produkt- und Signatur-Updates zum Zeitpunkt des Tests getestet. Die getesteten Produkte sind unten aufgeführt:

Geprüfte Produkte

• Avast Free Antivirus 5.0
• AVG Internet Security 9.0
• Avira Internet Security 9.0
• Bitdefender Internet Security 2010
• eScan Internet Security 10.0
• ESET Smart Security 4.0
• F-Secure Internet Security 2010
• G DATA Internet Security 2010
• Kaspersky Internet Security 2010
• Kingsoft Internet Security 9+
• McAfee Internet Security 2010
• Microsoft Security Essentials 1.0
• Norman Security Suite Pro 7.2
• Symantec Norton Internet Security 2010
• Trustport Antivirus 2010

Testverfahren

Um das weltweit am häufigsten von Privatanwendern genutzte System (und folglich auch das, das am häufigsten von Malware durch Exploits usw. angegriffen wird) widerzuspiegeln, haben wir nicht die neuesten Versionen des Betriebssystems oder der Anwendungen verwendet. Wir haben den Test unter Windows XP Professional SP3 (Basis-Service-Pack) durchgeführt, mit Internet Explorer 7 (laut Internet-Statistiken eine der am weitesten verbreiteten Versionen nach IE6) und Adobe Acrobat Reader 8 (sogar viele Besucher unserer Website, die wir für sicherheitsbewusster halten, scheinen immer noch veraltete Software zu verwenden, da viele von ihnen uns kontaktiert haben, um uns mitzuteilen, dass ihre Version von Acrobat Reader nicht in der Lage ist, unsere PDF-Berichte zu lesen, die mindestens Version 8 erfordern). Auch wurden nicht die neuesten, aber statistisch gesehen die am häufigsten verwendeten Versionen von Java, FlashPlayer usw. verwendet. Zusammenfassend lässt sich sagen, dass wir ein System verwendet haben, das etwa ein Jahr veraltet ist - in der Praxis können sogar noch veralteter Systeme vorherrschen, aber wir haben es vorgezogen, keine sehr alte Software zu verwenden. Dennoch möchten wir die Benutzer darauf hinweisen, wie wichtig es ist, ihre gesamte Software (nicht nur die Sicherheitssoftware) stets auf dem neuesten Stand zu halten, da viele Exploits usw. auf aktualisierten/gepatchten Softwareversionen nicht funktionieren würden. Wir werden die Nutzungsstatistiken weiterhin beobachten und auf neuere Softwareversionen sowie Windows 7 umstellen, sobald diese die am weitesten verbreiteten Systeme sind.

Exkursion: Sicherheit innerhalb des Betriebssystems und des Browsers

Da sich dieser Bericht an Privatanwender richtet, dachten wir, es wäre eine gute Gelegenheit, einige Informationen über die Sicherheitsfunktionen ihres Betriebssystems und Browsers zu geben.

Zunächst einmal: Bitte aktualisieren Sie Ihr Betriebssystem und Ihren Browser auf die neuesten Versionen - ignorieren oder deaktivieren Sie die automatischen Updates nicht! Auch wenn viele Menschen bei Malware-Infektionen ihr Betriebssystem für schuldig halten, liegt der Grund für eine Infektion in der Regel in den Handlungen der Benutzer selbst - und nicht nur darin, dass sie ihre Software nicht auf dem neuesten Stand halten. Fast jedes Mal, wenn ein neues, unbekanntes Programm gestartet wird, erscheint eine Windows-Eingabeaufforderung, die den Benutzer vor dem Risiko der Ausführung der Datei warnt. Außerdem erscheint eine ähnliche Warnmeldung, wenn ein Benutzer eine Datei aus dem Internet herunterlädt und sie ausführen möchte.

Die meisten Benutzer würden solche Warnmeldungen ignorieren und die Dateien trotzdem ausführen, da sie daran gewöhnt sind, solche Warnmeldungen zu sehen. Außerdem können Benutzer mit den heutigen Social-Engineering-Taktiken leicht dazu verleitet werden, Anwendungen trotz aller Warnungen zu starten. Aus diesem Grund ist es auch wichtig, dass sich Sicherheitssoftware nicht auf die Entscheidungen der Benutzer verlässt, um Sicherheit zu bieten; die Benutzer erwarten, dass die Sicherheitssoftware dies für sie tut. Ein gutes Sicherheitsprodukt sollte klar angeben, ob eine Datei bösartig ist oder nicht, und wenn es der Meinung ist, dass sie bösartig ist, sollte es dem Benutzer nicht erlauben, die Datei auszuführen (oder zumindest die Option "Blockieren/Quarantäne" als Standardoption anbieten). Wenn sich ein Produkt sehr oft auf die Entscheidung des Benutzers verlassen muss, ob eine Datei ausgeführt werden darf oder nicht, ist die Verwendung eines solchen Produkts für Privatanwender nicht von großem Nutzen.

Außerdem verfügt der Internet Explorer 8 über den SmartScreen-Filter, der viele bösartige Dateien beim Surfen im Internet blockiert. Auch Google und Mozilla Firefox blockieren gefährliche Websites. Wenn man sich all diese Sicherheitsfunktionen ansieht, fragt man sich, wie es Menschen immer noch schaffen, ihre Computer zu infizieren. Das Problem liegt nicht immer an den Produkten oder Technologien, in den meisten Fällen sind die Benutzer schuld.

Wie wir getestet haben

Der Whole-Product-Dynamic-Test ist kein einfacher "Erkennungstest" wie üblich, sondern eher ein "Schutz/Präventionstest". Der Test ahmt nach, dass Malware auf den Rechner eines Benutzers gelangt und dort ausgeführt wird, so wie es in der realen Welt geschieht (z. B. durch den Besuch einer Website mit einer bösartigen Nutzlast wie Drive-by-Downloads/Exploits oder indem man durch Social-Engineering-Taktiken zum Herunterladen einer bösartigen Datei verleitet wird). Das bedeutet, dass nicht nur die Signaturen, Heuristiken und In-the-Cloud-Erkennungen bewertet werden, sondern auch URL-Blocker, Web-Reputationsdienste, Exploit-Schilde, In-the-Cloud-Heuristiken, HIPS und Verhaltenserkennung berücksichtigt werden. Firewall-Warnungen, wenn die Malware bereits ausgeführt wurde und lediglich versuchte, eine Verbindung zur Außenwelt herzustellen, wurden als Fehlschlag gewertet. Wir besuchten Websites mit Exploits/Drive-by-Downloads und auch einige Websites mit bösartigen Dateien, die wir heruntergeladen und ausgeführt haben. Die Kriterien für Erfolg/Misserfolg sind unabhängig von der von den Produkten verwendeten Technologie. Entscheidend ist, dass die Produkte dem Benutzer einen zuverlässigen Schutz bieten, im Idealfall ohne dass der Benutzer entscheiden muss, ob etwas bösartig ist oder nicht.

Für den Whole-Product-Dynamic-Test verwendeten wir 16 identische physische PCs (keine virtuellen Maschinen) mit identischer Hardware, Software und Betriebssystemkonfiguration (Administratorkonto). Auf jedem PC war ein Sicherheitsprodukt installiert. Wir verwendeten die Sicherheitssuite jedes Herstellers, sofern verfügbar, und bewerteten den gebotenen Gesamtschutz. Die Produkte waren stets auf dem neuesten Stand und verfügten wie in der realen Welt über eine aktive Internetverbindung. Jeder Rechner hatte eine eigene IP-Adresse. Wir haben die Standardeinstellungen der Produkte verwendet. Der Test begann am 16. November 2009. Jeden Tag testeten wir etwa 15 bis 20 Testfälle (neue URLs mit neuen/relevanten Exploits/Malware, wobei wir darauf achteten, keine URLs zu verwenden, die identische Malware liefern), die von unserem eigenen Crawler gesammelt wurden. Da jeder Rechner überprüft werden musste und alle Rechner in ihren ursprünglichen Zustand zurückversetzt werden mussten (was bedeutete, dass wir warten mussten, bis alle Rechner für die nächste Bedrohung bereit waren), benötigten vier Personen täglich fast 12 Stunden für die Durchführung der Tests (obwohl wir Tools entwickelt haben, um einige Verfahren zu beschleunigen). Jeder Testfall wurde zunächst überprüft, indem er auf einem ungeschützten System (ohne installierte Sicherheitssoftware) aufgerufen wurde, um zu sehen, ob das Beispiel gültig war und in der Testumgebung etwas bewirkte. Danach wurden alle 15 Sicherheitsprodukte aktualisiert, bevor ein Testfall aufgerufen wurde. Wir haben darauf geachtet, dass die Website alle Rechner der gleichen Bedrohung aussetzt. Alle URLs wurden im gleichen Moment aufgerufen und Screenshots gemacht, falls das Sicherheitsprodukt reagierte. Andernfalls wurde überprüft, ob das Produkt unbemerkt eine Aktion durchgeführt hatte oder ob die Bedrohung den Rechner erfolgreich kompromittiert hatte (d. h. das Sicherheitsprodukt versagte). URLs, die z. B. andere Malware an die Rechner lieferten oder während des Tests ausfielen, wurden anschließend ausgeschlossen. Aus diesem Grund lief der Test bis zum 26. November, und die Zahl der gültigen Testfälle für den Bericht wurde auf 100 reduziert.

Obwohl wir viele Daten gespeichert haben, ist die Reproduktion dynamischer Tests eine schwierige Aufgabe, vor allem, wenn sie so durchgeführt werden, wie wir es immer tun: auf physischen Rechnern und ohne simulierte Umgebungen, aber dennoch darauf achtend, dass keine Malware aus dem Testnetz ausbricht. Außerdem stellen einige Produkte nicht für alles, was sie tun, Protokolle zur Verfügung, und In-the-Cloud-Produkte können unterschiedliche Ergebnisse liefern, wenn sie zu verschiedenen Zeiten (oder sogar in verschiedenen Ländern) getestet werden. Während des Tests haben wir Probleme festgestellt, die in weiteren dynamischen Tests angegangen und in unserem automatischen dynamischen Testmodell berücksichtigt werden müssen. Wir arbeiten zusammen mit der Universität Innsbruck an der Entwicklung dieses Modells. Wir planen, es bis 2010 fertig zu stellen und zu verwenden, damit wir eine viel größere Anzahl von Testfällen, eine verbesserte Protokollierung, Reproduzierbarkeit und auch zusätzliche Angriffsvektoren (wie E-Mail, IM, P2P, USB usw.) verwenden können. In einigen Fällen müssen auch einige Anbieter ihre Produkte ändern oder verbessern, damit die Tester solche Tests automatisieren und durch einen Standard unterstützen können.

In den meisten Fällen ergriffen die Sicherheitsprodukte von sich aus die entsprechenden Maßnahmen (was wir normalerweise als deterministisch bezeichnen - entweder ist etwas bösartig und sollte blockiert werden oder nicht); in einigen wenigen Fällen fragten sie den Benutzer, was zu tun sei, schlugen aber vor, die Bedrohung als Standardoption zu blockieren. In einigen Fällen wurde der Benutzer gefragt, was zu tun sei, aber es wurde vorgeschlagen, die Bedrohung zu blockieren. Wir haben immer die Standardoption gewählt, wenn wir danach gefragt wurden, und haben die Vorschläge zum Blockieren als "erfolgreich/geschützt" betrachtet (wenn der Rechner tatsächlich geschützt war, da wir den Angaben des Produkts nicht blind vertrauen). Wenn keine Standardoption zur Verfügung stand und die Warnung indirekt darauf hindeutete, dass das Programm/die Aktivität/die Website gefährlich sein könnte, wählten wir "blockieren"; dieselbe Aktion wurde auch beim Fehlalarm-/Rauschtest angewendet, wenn eine solche Warnung während des Tests mit tatsächlicher Malware erschienen war. Wenn es bei den Malware-Testfällen keine Warnungen gab, bei denen der Benutzer entscheiden musste (weil keine Standardoption angegeben war), wurde die Warnung ohne Standardoption beim Test mit sauberen Anwendungen nicht als Fehlalarm gewertet.

Firewall-Warnungen/Pop-ups wurden nicht berücksichtigt, da sie in der Regel nur ankündigen, dass ein Programm (bei dem es sich durchaus um eine bekannte saubere Anwendung handeln kann) versucht, eine Verbindung zur Außenwelt herzustellen, und den Benutzer fragen, was er tun soll. Einige Firewalls, z. B. von AVG, AVIRA, Bitdefender, F-Secure und Trustport, sind unserer Meinung nach immer noch ein wenig zu gesprächig und verlangen vom Benutzer Interaktion/Entscheidungen. Kingsoft ist ein besonderer Übeltäter und schlägt sogar vor, die Verbindungen von bekannten, wichtigen Programmen zu blockieren. AVIRA gibt manchmal eine Firewall-Warnung aus, schlägt aber vor, die Verbindung zuzulassen. Unserer Meinung nach sollte AVIRA in solchen Fällen die vorgeschlagene Aktion (erlauben) selbst durchführen, ohne den Benutzer zu belästigen. Die Host-Based Intrusion Prevention Systems (HIPS) von F-Secure und vor allem von G DATA warnen manchmal vor Änderungen der Systemkonfiguration durch Anwendungen, lassen diese aber standardmäßig zu (auch weil solche Änderungen sehr häufig selbst bei sauberen Software-Installationen beobachtet werden). Wir sind der Meinung, dass die Produkte die vorgeschlagene Aktion (Zulassen) selbst ausführen sollten, ohne den Benutzer um eine Entscheidung zu bitten. Wenn Benutzer häufig mit solchen Warnungen konfrontiert werden, selbst bei der Installation bekannter, sicherer Anwendungen, könnten sie sich daran gewöhnen, diese Änderungen zuzulassen, und in den wenigen Fällen, in denen sie tatsächlich Malware ausführen, ohne nachzudenken das Gleiche tun.

Die Norton Download Insight-Meldungen von Symantec wurden bei den Tests nicht berücksichtigt. Download Insight nutzt eine neue Reputationstechnologie von Symantec, um bösartige Dateien zu blockieren und vor Dateien zu warnen, deren Reputation noch nicht feststeht. Hätten wir sie berücksichtigt, hätte Symantec auch vor der einen Malware geschützt, die es nicht berücksichtigt hat.

Testfälle

Wir haben 100 Testfälle in diesen Test einbezogen. Ein Testfall ist eine Website, die ein bösartiges Skript oder Exploit (das auf Malware verweist) oder eine bösartige Datei enthält. Laut Bedrohungsstatistiken werden heutzutage über 70% der Malware über Websites verbreitet, die bösartige Skripte oder Exploits enthalten (Drive-by-Downloads), und fast 20% durch Social-Engineering-Taktiken, die auf Websites verweisen, von denen Benutzer manuell bösartige Software herunterladen können (der verbleibende Prozentsatz wird über andere Infektionsvektoren verbreitet). Außerdem befinden sich die meisten infizierten Websites derzeit auf chinesischen Domänen. Bei der Auswahl unserer Testfälle haben wir auch dies berücksichtigt; wir haben hauptsächlich Websites mit Exploits und bösartigen Skripten und nur 15 Links verwendet, die direkt auf ausführbare Malware verweisen; etwa 30 Websites befanden sich auf chinesischen Domänen. Die URLs wurden mit unserem hauseigenen Crawler gesammelt; um Verzerrungen zu vermeiden, haben wir keine öffentlich zugänglichen Dienste genutzt, die bösartige URL-Feeds liefern. Aus Sicherheitsgründen veröffentlichen wir keine bösartigen URLs. Wir haben auch darauf geachtet, nicht mehrere URLs einzubeziehen, die zur gleichen Malware führen, um eine Vielfalt von Testfällen zu haben. Obwohl wir an jedem Testtag 15-20 frisch gesammelte URLs verwendet haben, möchten wir klarstellen, dass die Verwendung neu entdeckter infizierter Websites nicht unbedingt bedeutet, dass wir „Nulltagsexploits/Malware“ verwendet haben. Ziel des Tests ist es nicht, die Sicherheitsprodukte mit Zero-Day-Malware zu konfrontieren, sondern ein realistisches Bild der Sicherheitsprodukte zu zeichnen, wie es die meisten Privatanwender in der realen Welt erleben, wenn sie das Produkt verwenden und im Internet surfen.

Ranking-System

Protection
< 80%	80 – 90%	90 – 98%	98 – 100%
tested	STANDARD	ADVANCED	ADVANCED+

Das obige Punktesystem ist ein Versuch, die Ergebnisse zu bewerten. Wir werden es bei den nächsten Tests ändern/anpassen/verbessern. In Anbetracht der Tatsache, dass die Produkte in den dynamischen Gesamttests als Ganzes getestet werden und verschiedene Schutzfunktionen zum Tragen kommen, erwarten wir von den Produkten sehr gute Ergebnisse, wenn sie die Auszeichnung ADVANCED+ erhalten sollen. Wir möchten auch, dass die Leser verstehen, dass, da AV-Comparatives nur gute Produkte in seine Haupttests aufnimmt, sogar eine STANDARD-Auszeichnung bereits eine gute Note ist; ADVANCED ist sehr gut und ADVANCED+ außergewöhnlich.

False Positives (False Alarm) Test - Ergebnis

Um einen ausgewogenen Test der Benutzererfahrung zu gewährleisten, wollten wir auch einen Fehlalarmtest durchführen, um festzustellen, ob die Schutzfunktionen der Sicherheitsprodukte möglicherweise überempfindlich sind und die gleichen Warnungen anzeigen, während man auf sicheren Websites surft und saubere Anwendungen installiert oder verwendet. Wir haben 40 saubere Testfälle getestet, die nach dem Zufallsprinzip von verschiedenen Download-Portalen ausgewählt wurden. Wir besuchten die Websites, luden sie herunter, entarchivierten sie gegebenenfalls, installierten sie und führten die installierten Anwendungen aus, um sie auf ihre Funktionalität zu prüfen und zu sehen, ob die Sicherheitsprodukte eingriffen. Allein dieser Test war sehr arbeitsintensiv.

Die meisten Produkte störten nicht, während einige andere Produkte (wie ESET, F-Secure, Kaspersky und Symantec) nur einen Fall hatten, in dem sie automatisch eine saubere Anwendung blockierten. Ursprünglich wollten wir nur eine FP bestrafen, aber wir kamen zu dem Schluss, dass dies statistisch nicht aussagekräftig genug ist, um Produkte als "überempfindlich" einzustufen.

Zusammenfassung - Ergebnis

Unserer Meinung nach zeigen die nachstehenden Ergebnisse, dass die Benutzer trotz der guten Schutzfunktionen, die in die Sicherheitsprodukte eingebaut sind, niemals erwarten sollten, dass sie automatisch 100% geschützt sind, nur weil sie sie benutzen. Je mehr Sicherheit ein Benutzer erwartet oder wünscht, desto mehr kann die Benutzerfreundlichkeit abnehmen und das Rauschen aufgrund überempfindlicher Schutzfunktionen (oder gesprächiger Produkte, die Benutzerinteraktion/Entscheidungen verlangen) zunehmen.

	Bedrohungen blockiert
1. Symantec, Kaspersky	99 von 100
2. AVIRA	97 von 100
3. Microsoft, Avast	96 von 100
4. G DATA, F-Secure, ESET	95 von 100
5. Bitdefender	91 von 100
6. eScan	89 von 100
7. Trustport, AVG	88 von 100
8. McAfee	86 von 100
9. Norman	74 von 100
10. Kingsoft	60 von 100

 

Anmerkungen

Das getestete McAfee-Produkt wird demnächst durch eine neuere Version ersetzt. Wir konnten diese neue Version wegen des unglücklichen Zeitpunkts der Veröffentlichung im Hinblick auf diesen Test nicht testen.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2009 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Dezember 2009)