Real-World Protection Test März-Juni 2011

Einführung

Die Bedrohung durch bösartige Software wächst von Tag zu Tag. Nicht nur die Zahl der Schadprogramme nimmt zu, auch die Art der Bedrohungen selbst ändert sich rapide. Die Art und Weise, wie Schadcode auf Computer gelangt, ändert sich von einfachen dateibasierten Methoden hin zur Verbreitung über das Internet. Malware infiziert PCs immer häufiger, indem Benutzer z. B. dazu verleitet werden, infizierte Webseiten zu besuchen, schädliche Software zu installieren oder E-Mails mit bösartigen Anhängen zu öffnen.

Der Schutzumfang von Antivirenprogrammen wird durch die Einbeziehung von z.B. URL-Blockern, Inhaltsfiltern, Anti-Phishing-Maßnahmen und benutzerfreundlichen Verhaltensblockern erweitert. Wenn diese Funktionen perfekt auf die signaturbasierte und heuristische Erkennung abgestimmt sind, erhöht sich der Schutz vor Bedrohungen.

Trotz dieser neuen Technologien ist es nach wie vor sehr wichtig, dass die signaturbasierten und heuristischen Erkennungsfähigkeiten von Antivirenprogrammen weiterhin getestet werden. Gerade wegen der neuen Bedrohungen werden auch die signaturbasierten/heuristischen Erkennungsmethoden immer wichtiger. Die zunehmende Häufigkeit von Zero-Day-Angriffen bedeutet, dass die Gefahr einer Malware-Infektion steigt. Wird diese nicht durch "konventionelle" oder "nicht-konventionelle" Methoden abgefangen, wird der Computer infiziert, und nur durch einen On-Demand-Scan mit signatur- und heuristikbasierter Erkennung kann die Malware gefunden (und hoffentlich entfernt) werden. Die zusätzlichen Schutztechnologien bieten auch keine Möglichkeit, bestehende Datenspeicher auf bereits infizierte Dateien zu überprüfen, die auf den Dateiservern vieler Unternehmen zu finden sind. Diese neuen Sicherheitsebenen sollten als Ergänzung zu guten Erkennungsraten verstanden werden, nicht als Ersatz.

Bei diesem Test tragen alle Funktionen des Produkts zum Schutz bei, nicht nur ein Teil (wie Signaturen/heuristisches Dateiscanning). Der Schutz sollte also höher sein, als wenn nur Teile des Produkts getestet werden. Wir empfehlen, dass alle Teile eines Produkts einen hohen Erkennungsgrad aufweisen sollten, nicht nur einzelne Komponenten (z. B. schützt die URL-Sperre nur beim Surfen im Internet, aber nicht vor Malware, die auf anderem Wege eingeschleust wurde oder bereits auf dem System vorhanden ist).

Der Whole-Product Dynamic "Real-World" Protection Test ist ein gemeinsames Projekt von AV-Comparatives und der Fakultät für Informatik und Qualitätstechnik der Universität Innsbruck. Es wird teilweise von der Republik Österreich finanziert.

Für diesen Test verwenden wir normalerweise die Internet Security Suite, da alle Schutzfunktionen, die das System vor Angriffen schützen, verwendet werden können. Ein Anbieter kann jedoch stattdessen auch sein einfaches Antivirenprodukt angeben, wenn er dies vorzieht. Die Hauptversionen der in jedem monatlichen Testlauf getesteten Produkte sind unten aufgeführt:

Geprüfte Produkte

• Avast Internet Security
  6.0 | 6.0 | 6.0 | 6.0
• AVG Internet Security
  2011 | 2011 | 2011 | 2011
• Avira Internet Security
  10.0 | 10.0 | 10.0 | 10.0
• Bitdefender Internet Security
  2011 | 2011 | 2011 | 2011
• ESET Smart Security
  4.2 | 4.2 | 4.2 | 4.2
• F-Secure Internet Security
  2011 | 2011 | 2011 | 2011
• G DATA Internet Security
  2011 | 2011 | 2011 | 2012
• K7 Total Security
  11.1 | 11.1 | 11.1 | 11.1
• Kaspersky Internet Security
  2011 | 2011 | 2011 | 2012
• McAfee Internet Security
  2011 | 2011 | 2011 | 2011
• Panda Internet Security
  2011 | 2011 | 2011 | 2012
• PC Tools Internet Security
  2011 | 2011 | 2011 | 2011
• Qihoo 360 Internet Security
  2.0 | 2.0 | 2.0 | 2.0
• Sophos Endpoint Security and Control
  9.5 | 9.5 | 9.7 | 9.7
• Symantec Norton Internet Security
  2011 | 2011 | 2011 | 2011
• Trend Micro Internet Security
  2011 | 2011 | 2011 | 2011
• Webroot Internet Security Complete
  7.0 | 7.0 | 7.0 | 7.0

Testverfahren

Das Testen von Dutzenden von Antivirenprodukten mit jeweils 100 URLs pro Tag ist eine Menge Arbeit, die nicht manuell erledigt werden kann (da es sich um Tausende von parallel zu besuchenden Websites handeln würde), so dass eine Art Automatisierung erforderlich ist. Diese Automatisierung wurde gemeinsam vom Institut für Informatik der Universität Innsbruck und AV-Comparatives entwickelt.

Im Laufe des Jahres mussten wir mehrere Änderungen an den automatisierten Systemen vornehmen, um zu verhindern, dass einige AV-Anbieter versuchen, das System zu "manipulieren". Außerdem mussten wir unsere Tools aufgrund von unangekündigten Änderungen an den Sicherheitsprodukten aktualisieren/umschreiben, was die Erstellung automatisierter Systeme erschwerte. Wir bitten die Anbieter, uns im Falle von Produktänderungen, die sich auf die automatisierten Testsysteme auswirken können, im Voraus zu informieren.

Labor-Setup

Der gesamte Test wird auf echten Workstations durchgeführt. Wir verwenden keine Art von Virtualisierung. Jede Workstation hat eine eigene Internetverbindung mit einer eigenen externen IP. Wir haben spezielle Vereinbarungen mit mehreren Providern (Failover Clustering und keine Verkehrsblockierung), um eine stabile Internetverbindung zu gewährleisten. Die Tests werden mit einer Live-Internetverbindung durchgeführt. Wir haben die notwendigen Vorkehrungen getroffen (mit speziell konfigurierten Firewalls usw.), um andere Computer nicht zu schädigen (d. h. keine Ausbrüche zu verursachen).

Jedes zu testende Antivirenprogramm wird auf einem eigenen Testcomputer installiert (bitte beachten Sie, dass der hier verwendete Begriff "Antivirenprogramm" auch eine vollständige Internet Security Suite bedeuten kann). Alle Computer sind mit dem Internet verbunden (Einzelheiten siehe unten). Das System wird eingefroren, wobei das Betriebssystem und das Antivirenprogramm installiert sind.

Hardware und Software

Für diesen Test haben wir identische Workstations, ein IBM Bladecenter und Network Attached Storage (NAS) verwendet.

	Anbieter	Typ	CPU	RAM	Festplatte
Workstations	Fujitsu	E3521 E85+	Intel Core 2 Duo	4 GB	80 GB
Klingenmitte	IBM	E Fahrgestell	–	–	–
Klingen	IBM	LS20	AMD Dual Opteron	8 GB	76 GB
NAS	QNAP	TS-859U-RP	Atom Dual Core	1 GB	16 TB Raid 6

Die Tests wurden unter Windows XP SP3 ohne weitere Updates durchgeführt. Einige weitere installierte anfällige Software umfasst:

Anbieter	Produkt	Version		Anbieter	Produkt	Version
Adobe	Flash Player ActiveX	10.1		Microsoft	Internet Explorer	7
Adobe	Flash Player Plug-In	10		Microsoft	Bürofachkraft	2003
Adobe	Acrobat Reader	8.0		Microsoft	.NET-Rahmenwerk	3.5
				Sonne	Java	6.0.140

Settings

Wir verwenden jede Sicherheitssuite mit ihren Standardeinstellungen (Out-of-the-Box). Wenn Benutzerinteraktionen erforderlich sind, wählen wir die Standardoption. Unser dynamischer Test für das gesamte Produkt zielt darauf ab, reale Bedingungen zu simulieren, wie sie von den Benutzern täglich erlebt werden. Wenn es also keine vordefinierte Aktion gibt, werden wir immer dieselbe Aktion verwenden, wenn wir die Warnung/Meldung als sehr klar und eindeutig ansehen. Wenn die Meldung dem Benutzer die Entscheidung überlässt, werden wir sie als solche kennzeichnen, und wenn die Meldung sehr vage oder irreführend ist oder sogar vorschlägt, z. B. der bösartigen Datei/URL/dem bösartigen Verhalten zu vertrauen, werden wir sie als Fehlschlag betrachten, wie es der normale Benutzer tun würde. In diesem Jahr werden wir strengere Anforderungen an die Entscheidungen/Interaktionen der Benutzer stellen als im letzten Jahr. Unter "Schutz" verstehen wir, dass das System nicht kompromittiert ist. Das bedeutet, dass die Malware nicht ausgeführt wird (oder entfernt/beendet wurde) und dass es keine signifikanten/schädlichen Systemänderungen gibt. Eine Warnung der Outbound-Firewall über einen laufenden Malware-Prozess, in der gefragt wird, ob der Datenverkehr vom Arbeitsplatz des Benutzers zum Internet blockiert werden soll oder nicht, ist zu wenig, zu spät und wird von uns nicht als Schutz angesehen.

Vorbereitung auf jeden Prüfungstag

Jeden Morgen werden alle verfügbaren Antiviren-Software-Updates heruntergeladen und installiert, und es wird ein neues Basis-Image für diesen Tag erstellt. Dadurch wird sichergestellt, dass selbst in dem Fall, dass das Antivirenprogramm im Laufe des Tages kein größeres Update durchführen kann, zumindest die Updates des Morgens verwendet werden, wie es auch in der realen Welt der Fall wäre.

Prüfzyklus für jede schädliche URL

Vor dem Aufrufen jeder neuen bösartigen URL/jedes neuen Testfalls aktualisieren wir die Programme/Signaturen. Neue Hauptproduktversionen (d. h. die erste Ziffer der Build-Nummer ist anders) werden einmal im Monat installiert, weshalb wir in jedem Monatsbericht nur die Hauptversionsnummer des Produkts angeben. Unsere Testsoftware beginnt mit der Überwachung des PCs, so dass alle von der Malware vorgenommenen Änderungen aufgezeichnet werden. Außerdem überprüfen die Erkennungsalgorithmen, ob das Antivirenprogramm die Malware erkennt. Nach jedem Testfall wird der Rechner in seinen sauberen Zustand zurückversetzt.

Protection

Sicherheitsprodukte sollen den PC des Benutzers schützen. Es ist nicht sehr wichtig, in welchem Stadium der Schutz stattfindet. Er kann entweder beim Surfen auf der Website (z. B. Schutz durch URL-Blocker), beim Versuch, einen Exploit auszuführen, beim Herunterladen/Erstellen der Datei oder bei der Ausführung der Malware (entweder durch den Exploit oder durch den Benutzer) erfolgen. Nachdem die Malware ausgeführt wurde (falls sie nicht vorher blockiert wurde), warten wir einige Minuten auf bösartige Aktionen und geben z. B. Verhaltensblockern Zeit, zu reagieren und die von der Malware ausgeführten Aktionen zu beheben. Wenn die Malware nicht erkannt wird und das System tatsächlich infiziert/kompromittiert ist, geht der Prozess zu "Malware nicht erkannt" über. Wenn eine Benutzerinteraktion erforderlich ist und der Benutzer entscheiden muss, ob etwas bösartig ist, und im Falle der schlechtesten Benutzerentscheidung das System kompromittiert wird, bewerten wir dies als "benutzerabhängig". Aus diesem Grund können die gelben Balken in der Ergebnisgrafik entweder als geschützt oder nicht geschützt interpretiert werden (die Entscheidung liegt beim Benutzer).

Aufgrund des dynamischen Charakters des Tests, d. h. der Nachahmung realer Bedingungen, und der Funktionsweise verschiedener Technologien (z. B. Cloud-Scanner, Reputationsdienste usw.) ist es eine Tatsache, dass solche Tests nicht in der Weise wiederholt oder repliziert werden können, wie dies z. B. bei statischen Erkennungsraten-Tests möglich ist. Dennoch versuchen wir, so viel wie möglich zu protokollieren, um unsere Erkenntnisse und Ergebnisse zu belegen. Die Anbieter sind aufgefordert, nützliche Protokolle in ihren Produkten bereitzustellen, die im Falle von Streitigkeiten zusätzliche Beweise/Daten liefern können. Die Anbieter hatten nach jedem Testmonat ein bis zwei Wochen Zeit, unsere Schlussfolgerungen zu den kompromittierten Fällen anzufechten, so dass wir erneut prüfen konnten, ob es vielleicht Probleme bei der Automatisierung oder bei unserer Analyse der Ergebnisse gab.

Bei Cloud-Produkten werden nur die Ergebnisse berücksichtigt, die zum Zeitpunkt der Prüfung vorlagen; manchmal sind die von den Sicherheitsanbietern bereitgestellten Cloud-Dienste aufgrund von Fehlern oder Wartungsausfällen der Anbieter nicht verfügbar, was den Nutzern von den Anbietern jedoch oft nicht mitgeteilt/mitgeteilt wird. Dies ist auch ein Grund, warum Produkte, die sich zu sehr auf Cloud-Dienste verlassen (und keine lokalen Heuristiken usw. verwenden), riskant sein können, da in solchen Fällen die von den Produkten gebotene Sicherheit erheblich abnehmen kann. Cloud-Signaturen/Erkennung/Reputation sollten in die Produkte implementiert werden, um die anderen Schutzfunktionen (wie lokale Echtzeit-Scan-Erkennung und Heuristik, Verhaltensblocker usw.) zu ergänzen und nicht vollständig zu ersetzen, da z. B. Offline-Cloud-Dienste bedeuten würden, dass die PCs höheren Risiken ausgesetzt sind.

Testfälle

Wir konzentrieren uns nicht auf Zero-Day-Exploits/Malware (obwohl es möglich ist, dass diese auch im URL-Pool vorhanden sind), sondern hauptsächlich auf aktuelle, sichtbare und relevante bösartige Websites/Malware, die derzeit im Umlauf sind und für den normalen Nutzer problematisch sind. Wir versuchen, etwa 30-50% URLs aufzunehmen, die direkt auf Malware verweisen (z. B. wenn der Benutzer durch Social-Engineering dazu verleitet wird, Links in Spam-Mails oder auf Websites zu folgen, oder wenn der Benutzer dazu verleitet wird, einen Trojaner oder eine andere Schurkensoftware zu installieren). Der Rest/größere Teil waren Exploits/Drive-by-Downloads. Diese scheinen in der Regel durch Sicherheitsprodukte gut abgedeckt zu sein.

Wir verwenden unser eigenes Crawling-System, um kontinuierlich nach bösartigen Websites zu suchen und bösartige URLs zu extrahieren (einschließlich gespammter bösartiger Links). Wir suchen auch manuell nach bösartigen URLs. Wenn unser interner Crawler an einem Tag nicht genügend gültige bösartige URLs findet, haben wir einige externe Forscher beauftragt, zusätzliche bösartige URLs exklusiv für AV-Comparatives bereitzustellen. Obwohl wir Zugang zu URLs haben, die zwischen Anbietern und anderen öffentlichen Quellen ausgetauscht werden, verwenden wir diese nicht für die Tests.

Bei dieser Art von Tests ist es sehr wichtig, genügend Testfälle zu verwenden. Wenn bei Vergleichstests eine unzureichende Anzahl von Stichproben verwendet wird, deuten Unterschiede in den Ergebnissen möglicherweise nicht auf tatsächliche Unterschiede zwischen den getesteten Produkten hin. In der Tat betrachten wir selbst in unseren Tests (mit Tausenden von Testfällen) Produkte in der gleichen Schutzgruppe als mehr oder weniger gleich gut, solange sie nicht fälschlicherweise mehr saubere Dateien/Seiten blockieren als der Branchendurchschnitt.

Ranking-System

Ranking-System	Schutzrate Cluster 4	Schutzrate Cluster 3	Schutzrate Cluster 2	Schutzrate Cluster 1
< ∅ FPs	Tested	Standard	Advanced	Advanced+
> ∅ FPs	Tested	Tested	Standard	Advanced

Test-Ergebnisse

Nachstehend finden Sie eine Übersicht über die einzelnen Testmonate:

August 2011 - 403 Testfälle

September 2011 - 478 Testfälle

Oktober 2011 - 393 Testfälle

November 2011 - 332 Testfälle

Wir geben in diesem Bericht absichtlich keine exakten Zahlen für die einzelnen Monate an, um zu vermeiden, dass die geringfügigen Unterschiede einiger weniger Fälle dazu missbraucht werden, zu behaupten, dass ein Produkt in einem bestimmten Monat und bei einer bestimmten Testsatzgröße besser ist als das andere. Wir geben die Gesamtzahlen in den Gesamtberichten an, wo die Größe der Testgruppe größer ist und größere Unterschiede beobachtet werden können.

False Positives (False Alarm) Test - Ergebnis

Der Fehlalarmtest im dynamischen Gesamtprodukttest besteht aus zwei Teilen: fälschlicherweise blockierte Domänen (beim Browsen) und fälschlicherweise blockierte Dateien (beim Herunterladen/Installieren). Es ist notwendig, beide Szenarien zu testen, da das Testen nur eines der beiden oben genannten Fälle Produkte benachteiligen könnte, die sich hauptsächlich auf eine Art von Schutzmethode konzentrieren, entweder z. B. URL/Reputationsfilterung oder z. B. On-Access-/Verhaltens-/Reputations-basierten Dateischutz. Wie im letzten Bericht von 2010 angekündigt, berücksichtigen wir bei der Bewertung der Produkte nun auch fälschlicherweise blockierte Domains/Dateien.

Falsch blockierte Domains (beim Browsen)

Wir verwendeten etwa zweitausend zufällig ausgewählte populäre Domänen, die in der Alexa Top One Million Sites. Gesperrte nicht bösartige Domains/URLs wurden als FPs gezählt. Die fälschlicherweise gesperrten Domains wurden den jeweiligen Anbietern zur Überprüfung gemeldet und sollten nun nicht mehr gesperrt werden. Durch das Blockieren ganzer Domains riskieren die Sicherheitsprodukte nicht nur, dass man ihren Warnungen misstraut, sondern auch, dass den Domain-Besitzern (neben der Schädigung des Rufs der Website) potenzieller finanzieller Schaden entsteht, z. B. durch den Verlust von Werbeeinnahmen. Aus diesem Grund empfehlen wir den Anbietern dringend, ganze Domains nur dann zu blockieren, wenn der einzige Zweck der Domain darin besteht, bösartigen Code zu übertragen, und ansonsten nur die bösartigen Seiten zu blockieren (sofern sie tatsächlich bösartig sind). Produkte, die dazu neigen, URLs z. B. auf der Grundlage ihrer Reputation zu blockieren, sind unter Umständen anfälliger für dieses Problem und schneiden in Schutztests auch besser ab, da sie viele unbeliebte/neue Websites blockieren können.

Falsch blockierte Dateien (beim Herunterladen/Installieren)

Wir haben über hundert verschiedene Anwendungen verwendet, die entweder als Top-Downloads oder als neue/empfohlene Downloads von etwa 16 verschiedenen beliebten Download-Portalen aufgeführt sind. Die Anwendungen wurden von den Websites heruntergeladen (wenn die ursprüngliche Entwicklerseite angegeben war, haben wir diese Quelle anstelle des Hosts des Download-Portals verwendet), auf der Festplatte gespeichert und installiert, um zu sehen, ob sie in irgendeiner Phase dieses Verfahrens blockiert werden. Zusätzlich haben wir einige Dateien aufgenommen, deren Status als Malware in den letzten Monaten des Dynamic Test angezweifelt wurde. Es ist bemerkenswert, dass der Status einiger Dateien, die wir anfänglich als vermisste Malware eingestuft hatten, von mehreren Anbietern bestritten wurde, d. h. sie betrachteten die Dateien als saubere/legitime Software. Außerdem wurde der saubere Status derselben Dateien von anderen Anbietern (und sogar von denselben Anbietern, die ursprünglich darauf bestanden hatten, dass sie sauber waren) angezweifelt, als wir sie als falsch positiv einstuften (in einem Fall wurden zusätzliche Dateien von einem Anbieter nach Ablauf der Frist/Vorprüfung neu eingestuft, um dem Mittelwert näher zu kommen). Bei den unbestreitbar sauberen Dateien versuchten einige Anbieter zu argumentieren, dass sie nicht als False Positives gezählt werden sollten, denn obwohl die Dateien sauber sind und ihr Produkt sie blockiert (zusammen mit den meisten anderen sauberen Dateien aus denselben Domänen), haben nur sehr wenige der überwachten Benutzer diese Dateien heruntergeladen oder auf ihren Rechnern. Tatsächlich zeigen andere Telemetrie-/Prävalenzdaten eine unterschiedliche/höhere Anzahl von Downloads durch Benutzer. Da es ein Leichtes wäre, eine hohe Schutzquote zu erreichen, indem man alles blockiert, was selten oder unbekannt ist, müssen auch fälschlicherweise blockierte Dateien/Seiten berücksichtigt werden. Das Argument der Nutzerbasis kann nicht unabhängig überprüft werden, und jeder Anbieter könnte behaupten, dass Fehlalarme oder entgangene Malware seine Nutzerbasis nicht beeinträchtigen.

Die Aufgabe von Sicherheitsprodukten ist es, vor bösartigen Websites/Dateien zu schützen und nicht, den Zugang zu bekannten und beliebten Anwendungen und Websites zu zensieren oder einzuschränken. Wenn der Benutzer bewusst eine hohe Sicherheitseinstellung wählt, die davor warnt, dass sie einige legitime Websites oder Dateien blockieren kann, dann kann dies als akzeptabel angesehen werden. Wir halten dies jedoch nicht für akzeptabel, wenn es sich um eine Standardeinstellung handelt und der Benutzer nicht gewarnt wurde. Keines der Produkte blockierte extrem beliebte Anwendungen. Da der Test zu bestimmten Zeitpunkten durchgeführt wird und FPs auf sehr beliebter Software/Websites in der Regel innerhalb weniger Stunden bemerkt und behoben werden, wäre es überraschend, FPs auf sehr beliebten Anwendungen zu finden. Aus diesem Grund wären FP-Tests, die z. B. nur bei sehr beliebten Anwendungen durchgeführt werden oder die nur die 50 wichtigsten Dateien von auf einer Whitelist stehenden/überwachten Download-Portalen verwenden, eine Verschwendung von Zeit und Ressourcen. Den Nutzern ist es egal, ob sie mit Malware infiziert sind, die nur sie selbst betrifft, ebenso wie es ihnen egal ist, ob die Anzahl der FP nur sie selbst betrifft.

Auch wenn es wünschenswert ist, dass FPs nicht viele Benutzer betreffen, sollte es das Ziel sein, FPs zu vermeiden und vor bösartigen Dateien zu schützen, unabhängig davon, wie viele Benutzer betroffen sind oder angesprochen werden. Die Prävalenz von FPs auf der Grundlage von Nutzerdaten ist für interne Tests von AV-Anbietern von Interesse, aber für den normalen Nutzer ist es wichtig zu wissen, wie genau sein Produkt zwischen sauberen und bösartigen Dateien unterscheidet. Obwohl einige Anbieter die Prävalenz einiger FPs in ihrer Benutzerbasis als sehr niedrig einstufen, liegt der tatsächliche Mittelwert (gemäß anderen Clouds/Telemetriedaten mit unterschiedlichen Benutzerbasen) der höchsten gemeldeten aktuellen Prävalenz für die angetroffenen DateifPs im Bereich von mehreren Tausend; der Medianwert liegt bei 1000.

 

Die folgende Tabelle zeigt die Anzahl der fälschlicherweise blockierten Domains/Dateien:

	Falsch blockierte saubere Domänen/Dateien (gesperrt / benutzerabhängig[1])	Falsch blockiertes Ergebnis [niedriger ist besser]
AVG, Kaspersky Lab	– / – (-)	–
Lavasoft	1 / – (1)	1
Baidu, ESET	2 / – (2)	2
Bitdefender	3 / – (3)	3
Emsisoft	1 / 9 (10)	5,5
Avast, Avira, McAfee	6 / – (6)	6
Sophos	9 / – (9)	9
Tencent	11 / – (11)	11
	Durchschnitt (16)	Durchschnitt (15)
Panda	17 / – (17)	17
Fortinet	19 / – (19)	19
Quick Heal	23 / 1 (24)	23,5
eScan	25 / – (25)	25
Microsoft	29 / – (29)	29
BullGuard, ThreatTrack Vipre	30 / – (30)	30
F-Secure	19 / 47 (66)	42,5
Trend Micro	49 / – (49)	49

[1] Obwohl die "User Dependent" FPs für den Nutzer äußerst ärgerlich sind (insbesondere bei sauberen Dateien), wurden sie bei der "False-Positives-Rate" (FPs) nur zur Hälfte berücksichtigt, wie auch bei der Schutzrate.

Um festzustellen, welche Produkte in unserem Vergabesystem aufgrund der Anzahl der fälschlicherweise gesperrten Websites/Dateien herabgestuft werden müssen, haben wir uns beraten und unsere schwierige Entscheidung durch eine Clustering-Methode und die Betrachtung der durchschnittlichen Punktzahlen untermauert. Einige Anbieter können relativ neue Dateien von Websites, die sie z. B. noch nicht in ihrer Whitelist haben, als verdächtig einstufen, insbesondere wenn ihre Cloud keine oder nur wenige Informationen über diese Dateien hat. Dies funktioniert gut, um bösartige Dateien zu blockieren und den Schutz zu erhöhen, aber leider führt es auch zu einem höheren Grad an fälschlicherweise blockierten sauberen Dateien, bis sich die Popularität/Reputation/Informationen über die Dateien verbessern. Die folgenden Produkte (mit überdurchschnittlichen FPs) mussten herabgestuft werden: Symantec, PC-Werkzeuge und Webroot.

Zusammenfassung - Ergebnis

Testzeitraum: März - Juni 2011 (2480 Testfälle)

Das nachstehende Diagramm zeigt die Gesamtschutzrate (alle Proben), einschließlich der Mindest- und Höchstschutzraten für die einzelnen Monate.

	Blockiert	User-Dependent	Kompromitiert	Schutzrate [Blocked % + (User Dependent % / 2)]	Cluster
Symantec	2458	11	11	99.3%	1
F-Secure	2459	4	17	99.2%	1
Bitdefender	2457	-	23	99.1%	1
G Data	2453	-	27	98.9%	1
Trend Micro	2446	-	34	98.6%	1
Panda	2445	-	35	98.6%	1
ESET	2436	-	44	98.2%	1
Kaspersky	2424	23	33	98.2%	1
Avast	2407	33	40	97.7%	1
AVIRA	2402	-	78	96.9%	2
Qihoo	2383	31	66	96.7%	2
Sophos	2370	-	110	95.6%	3
AVG	2358	6	116	95.2%	3
Webroot	2348	1	131	94.7%	3
PC-Werkzeuge	2262	165	53	94.5%	3
McAfee	2320	-	160	93.5%	4
K7	2276	17	187	92.1%	4

Anmerkungen

In der zweiten Jahreshälfte 2011 werden wir (auf Wunsch der jeweiligen Anbieter) "Avast Antivirus Free", "Panda Cloud Antivirus" und "McAfee Total Protection" anstelle ihrer jeweiligen Internet Security Versionen aufnehmen.

McAfee Internet Security" enthält zwar einen URL-Schutz, aber keine präventive Lösung, die den Zugang zu bösartigen Websites tatsächlich blockiert. Vielmehr warnt es die Benutzer nur über sein Browser-Ampelsystem vor potenziell bösartigen Websites. McAfee bietet jedoch die zusätzliche Komponente SiteAdvisor Live an, die über die SiteAdvisor-Option" erworben werden kann. Alternativ dazu enthält "McAfee Total Protection" standardmäßig McAfee SiteAdvisor Live. McAfee SiteAdvisor Live hat die Fähigkeit, präventiv bösartige URLs zu blockieren.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2011 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(August 2011)