Betriebssystem

Microsoft Windows; die genauen Angaben zur verwendeten Version sind in den einzelnen Testberichten vermerkt.

Ziel des Tests

Mit diesem Test soll festgestellt werden, wie effektiv und einfach verschiedene Antivirenprodukte Malware entfernen, die ein System bereits infiziert hat.

Zielgruppe

Jeder, der versuchen wird, eine Malware-Infektion von einem PC zu entfernen, wird von den Ergebnissen dieses Tests profitieren. Er ist vor allem für IT-Mitarbeiter und Computertechniker interessant, die im Rahmen ihrer Arbeit Malware entfernen, aber auch für Computernutzer, die ihren Computer selbst warten. Es wird davon ausgegangen, dass der Benutzer über keinerlei technische Spezialkenntnisse verfügt (außer der Fähigkeit, Windows im abgesicherten Modus zu starten) und sich auf die intuitive Verwendung der betreffenden Antiviren-Software verlässt, um die Malware vom System zu entfernen.

Definition der Bedrohung

Malware kann definiert werden als Computerprogramme, die einen eindeutigen und erheblichen böswilligen Zweck verfolgen. Dies schließt einige Programme wie z. B. kommerzielle Keylogger aus, die rechtmäßig verwendet werden können, z. B. bei Computerschulungen, und schließt auch "potenziell unerwünschte Programme" wie einige Browser-Symbolleisten aus, die zwar lästig sind, aber nicht als bösartig eingestuft werden können.

Anwendungsbereich des Tests

Der Test bezieht sich ausschließlich auf die Fähigkeit der einzelnen Produkte, Malware von einem bereits infizierten System zu entfernen. Er misst nicht die Erkennung oder den Schutz.

Test Setup

Das Betriebssystem ist auf jedem Test-PC installiert und vollständig gepatcht.

Settings

Die Produkte werden mit Standardeinstellungen getestet. Sollte ein Scan die Malware nicht entfernen, können die Einstellungen für nachfolgende Scans im Einzelfall geändert werden. Dies wird gegebenenfalls im Testbericht vermerkt.

Quellen und Anzahl der Testfälle

Die Proben wurden nach den folgenden Kriterien ausgewählt: Alle Antivirenprodukte müssen in der Lage sein, den verwendeten Malware-Dropper im inaktiven Zustand zu erkennen. Das Sample muss in den letzten 6 Monaten auf mindestens zwei PCs unserer lokalen Kunden verbreitet gewesen sein (laut Metadaten) und/oder in der Praxis gesehen worden sein. Die Malware muss nicht-destruktiv sein (mit anderen Worten, ein Antiviren-Produkt sollte das System reparieren/bereinigen können, ohne dass Windows-Systemdateien usw. ersetzt werden müssen). Sie muss außerdem ein übliches Malware-Verhalten unter dem verwendeten Betriebssystem aufweisen, um auch Verhaltensweisen zu repräsentieren, die von vielen anderen Malware-Samples beobachtet werden. Etwa ein Dutzend zufällig ausgewählte Malware-Samples werden aus dem Pool der Samples, die die oben genannten Kriterien erfüllen, ausgewählt.

Testverfahren

Für jede Probe wird eine gründliche Malware-Analyse durchgeführt, um genau festzustellen, welche Änderungen vorgenommen wurden. Der physische Rechner wird mit einer Bedrohung infiziert, neu gebootet und überprüft, ob die Bedrohung vollständig ausgeführt wird. Das Antivirenprodukt wird installiert und aktualisiert. Wenn dies nicht möglich ist, wird der PC im abgesicherten Modus neu gestartet. Wenn der abgesicherte Modus nicht möglich ist und eine Rettungsdiskette für das betreffende AV-Produkt verfügbar ist, wird diese verwendet, um vor der Installation eine vollständige Systemprüfung durchzuführen. Es wird ein gründlicher/vollständiger Systemscan durchgeführt und die Anweisungen des Antivirenprodukts werden befolgt, um die Malware zu entfernen, wie es ein typischer Heimanwender tun würde. Der Rechner wird neu gestartet, und das System wird manuell untersucht/analysiert, um zu prüfen, ob die Malware entfernt wurde und Reste davon übrig geblieben sind.

Bewertungen

Wir haben zugelassen, dass bestimmte vernachlässigbare/unwichtige Spuren zurückbleiben, vor allem weil aufgrund des Verhaltens/der Systemveränderungen einiger der verwendeten Malware-Samples keine perfekte Punktzahl erreicht werden kann. Die "Entfernung von Malware" und die "Entfernung von Überresten" werden in einer Dimension zusammengefasst und wir haben auch die Bequemlichkeit in Betracht gezogen. Die Bewertungen werden wie folgt angegeben, wobei A die höchste und D die niedrigste Note ist:

1. Beseitigung von Malware/Spuren

• Malware entfernt, nur noch vernachlässigbare Spuren (A)
• Malware entfernt, aber einige ausführbare Dateien, MBR- und/oder Registrierungsänderungen (z. B. Ladepunkte usw.) verbleiben (B)
• Malware entfernt, aber lästige oder potenziell gefährliche Probleme (z. B. Fehlermeldungen, kompromittierte Hosts-Datei, deaktivierter Task-Manager, deaktivierte Ordneroptionen, deaktivierter Registrierungseditor, Erkennungsschleife usw.) bleiben bestehen (C)
• Nur der Malware-Dropper wurde neutralisiert und/oder die meisten anderen abgelegten bösartigen Dateien/Veränderungen wurden nicht entfernt, oder das System ist nicht mehr normal nutzbar; abgelegte bösartige Dateien befinden sich noch auf dem System; Entfernung fehlgeschlagen (D)

1. Bequemlichkeit:

• Die Entfernung kann im normalen Modus (A) erfolgen.
• Die Entfernung erfordert das Booten im abgesicherten Modus oder andere integrierte Dienstprogramme und manuelle Aktionen (B)
• Entfernung erfordert Rettungsdiskette (C)
• Entfernung oder Installation erfordert Kontaktaufnahme mit dem Support o.ä.; Entfernung fehlgeschlagen (D)

False Positives

"Aggressive Bereinigung" - d.h. ein Programm, das mehr löscht, als es sollte - wird bei diesem Test als falsches Positiv angesehen.

Zusammenfassung

Detection	Ja
False-Positives	Ja
Cloud-Konnektivität	Ja
Aktualisierungen erlaubt	Ja
Standard-Konfiguration	Ja

Betriebssystem/Browser

Microsoft Windows; genaue Angaben zur verwendeten Version und Architektur werden in den einzelnen Testberichten gemacht. Bitte beachten Sie, dass Phishing-Tests sowohl mit den in den einzelnen Browsern eingebauten Anti-Phishing-Funktionen durchgeführt werden können, ohne dass ein zusätzliches Security-Produkt erforderlich ist, als auch mit den Anti-Phishing-Maßnahmen, die von Security-Produkten bereitgestellt werden - daher die Verwendung des Begriffs "Browser/Security-Produkt" in diesem Dokument. Die bei den Security-Produkttests verwendeten Browser werden im jeweiligen Testbericht angegeben.

Ziel des Tests

Der Test soll zeigen, wie effektiv die teilnehmenden Browser/Security-Produkte Phishing-Websites erkennen und blockieren und so den Nutzer davor schützen, von diesen Sites betrogen zu werden.

Zielgruppe

Jeder Computernutzer, der sich selbst nicht ganz sicher ist, ob er Phishing-Angriffe erkennen und vermeiden kann, wird von der Verwendung eines Security-Produkts/Browsers mit wirksamem Phishing-Schutz profitieren. Jeder Computerenthusiast oder Fachmann, der technische Unterstützung für Familie, Freunde, Kollegen oder Kunden anbietet, wird sich ebenfalls Gedanken über die Installation oder Empfehlung von Produkten machen, die einen Phishing-Schutz für die von ihm unterstützten Nutzer bieten.

Definition der Bedrohung

Eine Phishing-Website ist eine Website, die versucht, eine bereits existierende, legitime Website zu imitieren, oder die vorgibt, von einer bereits existierenden, legitimen Einrichtung wie einer Bank zu stammen, und darauf abzielt, Benutzerdaten zu erhalten, um den Benutzer direkt oder indirekt zu betrügen oder eine andere Art von Verbrechen zu begehen.

Eine sehr häufige Form des Phishing-Angriffs besteht darin, dass Spam-Mails verschickt werden, die vorgeben, von einer Bank zu stammen, und in denen den Empfängern mitgeteilt wird, dass sie sich aus dem einen oder anderen Grund bei ihrem Internet-Banking-Konto anmelden müssen. In der Mail wird ein Hyperlink angegeben, der den Opfern angeblich einen einfachen Zugang zu ihren Online-Konten ermöglicht. In Wirklichkeit führt der Link zu einer gefälschten Kopie der Anmeldeseite der Bank. Auf diese Weise werden die Anmeldedaten des Benutzers erfasst, die dann von den Betrügern verwendet werden können, um z.B. Geld vom Konto des Opfers zu stehlen.

Es sei darauf hingewiesen, dass eine Phishing-Website den Computer oder das Gerät des Nutzers in keiner Weise beeinträchtigt. Sofern sie Standardtechnologien wie HTML verwendet, kann eine Phishing-Website auf jedem Gerätetyp wirksam sein und ist unabhängig von Betriebssystem oder Browser.

Es gibt zahlreiche Arten von Online-Betrug, die nicht als Phishing gelten und daher in diesem Test nicht berücksichtigt werden. So zum Beispiel betrügerische Websites, die Nutzer unter dem Vorwand, einen neuen Dienst anzubieten (im Gegensatz zur Nachahmung eines bestehenden Dienstes), zur Eingabe persönlicher Daten auffordern.

Viele webbasierte Malware-Angriffe nutzen legitime Webserver, um die ausführbaren Dateien der Malware zu hosten. Ebenso ist es möglich, dass Phishing-Angriffe ihre Webseiten auf den Servern seriöser Organisationen hosten, die die Täter kompromittiert haben. Eine Phishing-Seite sollte unabhängig davon erkannt werden, wo sie gehostet wird. Wenn jedoch eine legitime Top-Level-Domain blockiert wird, würde dies als falsches positives Ergebnis gewertet werden. Wenn eine Phishing-Seite beispielsweise unter der URL www.lycos.com/user2035/personal/index.htm gehostet wird, sollte diese spezielle URL blockiert werden, aber die Blockierung von lycos.com (einer legitimen Domain) wäre ein False Positive.

Anwendungsbereich des Tests

Der Test ist optional; Anbieter, die sich an der Main-Test Series beteiligt haben, können entscheiden, ob sie teilnehmen wollen oder nicht. Wie bereits erwähnt, werden bei Phishing-Angriffen häufig Links in Spam-Mails verwendet, um die Nutzer zum Besuch der Phishing-Webseiten zu verleiten. Unser Test zum Schutz vor Phishing befasst sich ausschließlich mit der Fähigkeit des Browsers/Security-Produkts, die Website selbst als betrügerisch zu erkennen und den Benutzer zu warnen. Der Vektor, der zu jeder Phishing-URL führt, sei es eine Spam-Mail oder ein Link auf einer anderen Website, wird nicht berücksichtigt. Unser Spamschutz-Test wird den Lesern zeigen, welche Security-Produkte Spam-E-Mails am effektivsten herausfiltern.

Test Setup

Der Test wird auf identischen Rechnern durchgeführt.

Wenn Windows 8.x als Betriebssystem verwendet wird, wird der Test sowohl mit der Desktop- als auch mit der Modern- Version des Browsers durchgeführt, sofern verfügbar.

Das Betriebssystem und der/die Browser, die in einem Test verwendet werden sollen, werden den teilnehmenden Anbietern vor Beginn des Tests bekannt gegeben. Der verwendete Browser ist ein gängiger Mainstream-Browser, der von allen teilnehmenden Anbietern unterstützt wird.

Auf allen Testrechnern sind identische Betriebssystem- und Browserkonfigurationen installiert. Alle Anti-Phishing-Mechanismen des Betriebssystems sind deaktiviert. Für die Tests von Security-Produkten werden die Anti-Phishing-Funktionen im Browser deaktiviert (bei Browsertests bleiben sie natürlich aktiv). Anschließend wird auf jedem Rechner ein Browser/Security-Produkt installiert und aktualisiert.

Settings

Alle Einstellungen werden auf ihren Standardwerten belassen. Die Produkte haben während des Tests uneingeschränkten Zugang zur Cloud. Bevor der eigentliche Test durchgeführt wird, werden alle Produkte getestet, um sicherzustellen, dass sie korrekt konfiguriert sind und ordnungsgemäß funktionieren.

Quellen und Anzahl der Testfälle

Die im Test verwendeten Phishing-URLs werden aus Spam-E-Mails extrahiert und mit einem Crawler aus dem Internet gesammelt.

Es werden mindestens 100 Phishing-Websites verwendet, je nach Dauer des Tests aber möglicherweise auch viel mehr. Für die False-Positive Tests werden mindestens 100 legitime Online-Banking-Websites verwendet.

Testverfahren für Browser/Security-Produkte

Phishing-Websites sind sehr kurzlebig und können schon wenige Stunden nach ihrer Veröffentlichung wieder vom Netz genommen werden. Um sicherzustellen, dass so viele Phishing-Seiten wie möglich getestet werden können, solange sie noch aktiv sind, testen wir alle Phishing-URLs, die wir erhalten, sofort; alle, die sich als ungeeignet erweisen, werden von den Ergebnissen ausgeschlossen. Eine URL kann sich als ungeeignet erweisen, wenn es sich nicht um eine echte Phishing-Site handelt, wenn sie offline ist, wenn es sich offensichtlich um ein Duplikat handelt oder wenn eine Fehlfunktion erkennbar ist (z. B. wenn beim Öffnen der Seite Fehlermeldungen erscheinen). Unser automatisiertes Testverfahren speist die Test-PCs mit einer Phishing-URL, die dann von allen Rechnern gleichzeitig aufgerufen wird (um sicherzustellen, dass die Verfügbarkeit der Seite für alle Produkte gleich ist). Dies geschieht auf eine Art und Weise, die das Klicken eines Benutzers auf einen Link im wirklichen Leben nachahmt (im Gegensatz zu einem Argument, das direkt an den Browser weitergegeben wird). Es werden Screenshots angefertigt, um festzustellen, ob eine Phishing-Seite blockiert wurde und/oder eine Warnmeldung angezeigt wurde oder nicht. Jeder Test-PC wird dann neu gestartet und auf seine ursprüngliche Konfiguration zurückgesetzt, bevor der nächste Testfall beginnt. Auf diese Weise wird sichergestellt, dass für jeden Testfall die gleichen Bedingungen gelten und dass es nicht zu Verwechslungen zwischen den Warnmeldungen eines Testfalls und denen eines nachfolgenden Testfalls kommt.

Um als erfolgreich zu gelten, muss ein Produkt den Nutzer warnen, dass eine Website als unsicher gilt. Es muss die Website nicht physisch vollständig blockieren. Wir stellen fest, dass einige Produkte zur URL-Sperrung einen Warnhinweis im Browser anzeigen, mit einer abgedunkelten und inaktiven Darstellung der Website im Hintergrund; eine Schaltfläche oder ein Link in der Warnbox ermöglicht es dem Nutzer, die Seite aufzurufen. Wir akzeptieren dies als geschützt - es gibt keine "User-Dependent" Ergebnisse in diesem Test. Dasselbe Prinzip gilt für False-Positive Tests; eine Warnmeldung, die es dem Benutzer ermöglichen würde, durch Anklicken der entsprechenden Schaltfläche oder des Links mit der Seite fortzufahren, gilt auch dann als False Positive, wenn sie für eine harmlose Website erscheint.

False Positives

Wie bei vielen unserer anderen Tests stellen wir sicher, dass die Produkte keine hohen Erkennungsraten auf Kosten einer hohen Rate von Fehlalarmen erreichen. Ein False-Positives Test wird mit einer Reihe beliebter legitimer Websites durchgeführt, die nach Anmeldedaten oder persönlichen Informationen fragen; der Schwerpunkt liegt dabei auf Online-Banking-Sites weltweit. Ein einziger False Positive auf einer Online-Banking-Website reicht aus, um die Bewertung eines Programms herabzustufen.

Zusammenfassung

Detection	Ja
False-Positives	Ja
Cloud-Konnektivität	Ja
Aktualisierungen erlaubt	Ja
Standard-Konfiguration	Ja

Betriebssystem

Microsoft Windows; die genaue Version wird in jedem Testbericht vermerkt.

Ziel des Tests

Ziel des Tests ist es, zu vergleichen, wie sehr die getesteten Security-Produkte alltägliche Aufgaben wie das Starten von Anwendungen verlangsamen, während sie gleichzeitig das System schützen.

Zielgruppe

Der Test ist für alle Nutzer von Windows-PCs interessant, die sich Sorgen machen, dass Security-Produkte die Performance ihres Systems beeinträchtigen könnten.

Definition von Performance

Performance ist hier definiert als die Geschwindigkeit, mit der ein PC eine bestimmte Aufgabe ausführt. Die Performance wird auf einem PC getestet auf dem eine bestimmte Security-Software läuft und in Vergleich zu einem PC ohne Security-Produkt gesetzt. Es sei darauf hingewiesen, dass die wahrgenommene Performance, d. h. die Frage, ob der Nutzer subjektiv das Gefühl hat, dass das System verlangsamt wird, von Bedeutung ist. In einigen Fällen kann die Auswirkung von Security-Software auf bestimmte Aktionen, wie das Öffnen eines Programms, an sich einen vernachlässigbaren Einfluss auf die tatsächliche Produktivität des Nutzers während eines Arbeitstages haben, den Nutzer aber dennoch irritieren oder frustrieren. Dies kann indirekt dazu führen, dass er oder sie weniger produktiv ist. Da wir die Verwendung eines PCs ohne Antivirus-Software nicht befürworten, sollten die relativen Werte der getesteten Produkte als wichtiger angesehen werden, als der Unterschied zwischen dem schnellsten Produkt und einem PC ohne Security-Software.

Anwendungsbereich des Tests

Der Test misst die von den getesteten Programmen verursachte Reduzierung der Performance (Geschwindigkeit) bei der Ausführung einer Reihe von alltäglichen Aufgaben wie dem Öffnen und Speichern von Dateien. Er misst nicht die Auswirkungen der Security-Produkte auf die Boot-Zeit, da einige Produkte den falschen Eindruck erwecken, schnell geladen zu sein. In Wirklichkeit werden die Schutzfunktionen erst mit Verzögerung gestartet, um den Eindruck zu erwecken, dass das Produkt den Startvorgang nicht verlangsamt hat. So wird der volle Schutz erst einige Zeit nach dem Erscheinen des Windows-Desktops geboten, wobei der Anschein von Geschwindigkeit auf Kosten der Sicherheit geht. Bitte beachten Sie, dass dieser Test in keiner Weise die Malware-Erkennungs-/Schutzfähigkeiten der teilnehmenden Produkte testet. AV-Comparatives führt eine Reihe von separaten Tests zum Schutz vor Malware durch, insbesondere den Real-World Protection Test, dessen Einzelheiten Sie auf unserer Website finden, www.av-comparatives.org. Wir raten davon ab, ein Antivirus-Produkt nur aufgrund einer geringen Beeinflussung der Performance auszuwählen, da es auch einen wirksamen Schutz bieten muss.

Test Setup

The operating system is installed on a single test PC and updated. Care is taken to minimize other factors that could influence the measurements and/or comparability of the system; for example, Windows Update is configured so that it will not download or install updates during the test. Additionally, Microsoft Office and Adobe Reader are installed, so that the speed of opening/saving Microsoft Office and PDF files can be measured. Two further programs, both relating to performance testing, are installed: UL Procyon® Benchmark-Suite, which is an industry-recognised performance-testing suite, and our own automation which runs specified tasks  and logs the time taken to complete them. It is used to simulate various file operations that a computer user would execute.

Settings

Bei allen Consumer Produkten werden die Standardeinstellungen belassen.

Testverfahren

Alle Tests werden, um die Auswirkungen von Cloud-Diensten und -Funktionen in der realen Welt zu berücksichtigen, mit einer aktiven Internetverbindung durchgeführt. Die von den Produkten verwendeten Optimierungsprozesse/Fingerprinting werden ebenfalls berücksichtigt - das bedeutet, dass die Ergebnisse die Auswirkungen auf ein System darstellen, das bereits eine Zeit lang vom Nutzer betrieben wurde. Die Tests werden mindestens 10 Mal wiederholt (fünf Mal mit und fünf Mal ohne Fingerprinting), um Mittelwerte zu erhalten und Messfehler herauszufiltern. Im Falle von Schwankungen werden die Tests zusätzlich wiederholt. Nach jedem Durchlauf wird die Workstation neu gebootet. Die automatisierten Testverfahren sind wie folgt:

Kopieren von Dateien

Wir haben eine Reihe verschiedener gängiger Dateitypen von einer physischen Festplatte auf eine andere physische Festplatte kopiert. Einige Antivirus-Produkte ignorieren möglicherweise bestimmte Dateitypen standardmäßig (z.B. aufgrund ihres Dateiformats) oder verwenden Fingerprinting-Technologien, die bereits gescannte Dateien überspringen, um die Geschwindigkeit zu erhöhen.

Archivierung und Wiederherstellung

Archive werden häufig zur Speicherung von Dateien verwendet, und die Auswirkungen von Antivirus-Software auf die Zeit, die für die Erstellung neuer Archive oder die Wiederherstellung von Dateien aus bestehenden Archiven benötigt wird, dürften für die meisten Nutzer von Interesse sein. Wir haben eine Reihe von verschiedenen Dateitypen archiviert, die häufig auf Heim- und Büroarbeitsplätzen zu finden sind.

Installation von Anwendungen

Wir haben mehrere gängige Anwendungen im Silent-Intstall Modus installiert und gemessen, wie lange es dauert. Hier haben wir das Fingerprinting nicht berücksichtigt, da eine Anwendung normalerweise nur einmal installiert wird.

Starten von Anwendungen

Microsoft Office- (Word, Excel, PowerPoint) und PDF-Dokumente sind sehr verbreitet. Wir haben verschiedene Dokumente in Microsoft Office und in Adobe Acrobat Reader geöffnet und später wieder geschlossen. Gemessen wurde die Zeit, die die Viewer- oder Editor-Anwendung zum Starten benötigt. Obwohl wir die Ergebnisse für das erste Öffnen und die nachfolgenden Öffnungen auflisten, halten wir die nachfolgenden Öffnungen für wichtiger, da dieser Vorgang normalerweise mehrmals von den Nutzern durchgeführt wird und eine Optimierung der Antivirus-Produkte erfolgt, um ihre Auswirkungen auf die Systeme zu minimieren.

Download von Dateien

Von einem Webserver im Internet werden allgemein gebräuchliche Dateien heruntergeladen.

Durchsuchen von Websites

Allgemein gebräuchliche Websites werden mit Google Chrome geöffnet und dabei die Zeit zum vollständigen Laden und Anzeigen der Website gemessen. Wir messen nur die Zeit für die Navigation zur Website, wenn bereits eine Instanz des Browsers in Betrieb ist.

Procyon Test

UL Procyon® benchmark suite is run, to measure the system impact during real-world product usage.

BEWERTUNGEN

To produce an overall rating for each product, we combine the scores from the Procyon test and from our own automated tests, as follows. The range of times taken to complete each of the automated tasks is clustered into the categories Very Fast, Fast, Mediocre and Slow. Points are then awarded for each task, with products in the Fast category gaining 15 points, Fast getting 10 points, Mediocre 5 points and Slow zero points. A rounded-up average is taken of the points awarded to produce a final score. For the File Copying test, the mean score for the first run (with brand-new image) is taken, along with the average of the subsequent runs (to allow for e.g. fingerprinting by the security product). For the Launching Applications test, only the scores of the subsequent runs are used to create the average. As there are 6 individual tasks, a product can get up to 90 points overall. The number of points is then added to the Procyon score, which goes up to 100.

Betriebssystem

Microsoft Windows; die genaue Version wird im jeweiligen Testbericht vermerkt.

Ziel des Tests

Ziel dieses Tests ist es, herauszufinden, wie effektiv die Security-Produkte den Computer vor aktiven, realen Malware-Bedrohungen bei der Nutzung des Internets schützen. Jede der Schutzkomponenten in jedem Produkt kann zum Blockieren der Malware verwendet werden. Das Ziel ist es, herauszufinden ob die Security-Software den Computer schützt, indem sie die Malware daran hindert, Systemänderungen vorzunehmen (oder alle Änderungen zu beseitigen), wobei die Frage nach dem wie in diesem Test von untergeordneter Bedeutung ist.

Zielgruppe

Jeder, der mit einem Computer unter Microsoft Windows im Internet surft oder Webmail abruft, ist anfällig für webbasierte Malware-Angriffe und sollte über die Wirksamkeit von Security-Produkten informiert sein, die vor solchen Angriffen schützen können. IT-Fachleute und -Enthusiasten, die Kollegen, Kunden, Familienangehörige und Freunde technisch unterstützen, wollen wissen, welche Security-Produkte den besten Schutz für die von ihnen unterstützten Nutzer bieten.

Definition der Bedrohung

Webbasierte Malware ist jede Art von bösartigem Programm (z. B. Virus, Wurm, Trojaner), das aus dem Internet stammt und auf dem Computer des Benutzers ausgeführt werden kann, entweder über einen Exploit oder indem dem Benutzer vorgetäuscht wird, dass es sich um eine harmlose Datei wie ein Spiel handelt (z. B. durch Social Engineering).

Anwendungsbereich des Tests

Der Test befasst sich mit Malware, die aus dem Internet kommt, und berücksichtigt keine anderen Vektoren, über die Malware auf einen Computer gelangen kann, z. B. über ein USB-Flash-Laufwerk oder ein lokales Netzwerk. Die getesteten Produkte haben während des Tests uneingeschränkten Zugang zum Internet und können Reputationsfunktionen oder andere Cloud-Dienste in Anspruch nehmen. Daher gibt der Test keine Auskunft darüber, wie gut ein Produkt einen PC schützt, der offline ist. Lesern, die sich Gedanken über den proaktiven Offline-Schutz von Sicherheitsprodukten machen, wird empfohlen, den Bericht über unseren Heuristik-/Verhaltenstest zu lesen, der genau dieses Szenario abdeckt. Erreicht ein Produkt in diesem Test oder einem Abschnitt davon 100% Erkennung, so zeigt dies nur, dass es gegen alle bestimmten Muster in diesem einzelnen Test/Abschnitt geschützt hat.

Test Setup

Der Test wird auf identischen Systemen durchgeführt. Zu Beginn eines jeden Monats überprüfen wir, ob die neueste Hauptversion jedes Produkts installiert ist. Aktualisierungen kleinerer Versionen werden installiert, sobald sie verfügbar sind, und die neuesten Signaturen werden vor jedem einzelnen Testfall angewendet. Auf allen Testrechnern ist die Testing-Framework-Software installiert. Diese führt das Testverfahren durch, indem sie von den Testern übermittelte bösartige URLs aufruft, die zu einer Kompromittierung des Systems führen würden, wenn sie nicht erfolgreich durch die Sicherheitssoftware geschützt würden. Der Testrahmen umfasst auch eine eigene Überwachungssoftware, so dass alle Änderungen am System während des Tests aufgezeichnet werden. Außerdem überprüfen die Erkennungsalgorithmen, ob das Antivirenprogramm auf die Malware reagiert. Unser Testsystem überwacht, ob Änderungen an Dateien, der Windows-Registrierung, dem MBR, laufenden Prozessen, dem Netzwerkverkehr usw. vorgenommen werden. Es verlässt sich nicht auf das getestete Produkt, um festzustellen, ob die Malware blockiert wurde, was bedeutet, dass Sicherheitsanwendungen genauso effektiv getestet werden können wie lokal installierte Softwarelösungen. Eine weitere Komponente der Test-Framework-Software setzt die Testrechner nach jedem Testfall auf ihre Ausgangskonfiguration zurück.

Settings

In der Consumer-Testreihe werden alle Produkteinstellungen auf ihren Standardwerten belassen. Bei der Testserie für Unternehmen sind Änderungen der Einstellungen erlaubt und werden in den Berichten dokumentiert. Die Produkte haben während des gesamten Tests uneingeschränkten Zugriff auf die Cloud. Vor der eigentlichen Testdurchführung werden alle Produkte getestet, um sicherzustellen, dass sie korrekt konfiguriert sind und ordnungsgemäß funktionieren. Zusätzlich setzen wir Tools ein, um zu prüfen und zu protokollieren, ob die Verbindung zum Cloud-Dienst des Produkts (sofern vorhanden) ordnungsgemäß funktioniert.

Wenn Benutzerinteraktionen von einem Produkt verlangt werden, wählen wir immer "Zulassen" oder etwas Gleichwertiges. Wenn das Produkt das System trotzdem schützt, betrachten wir die Malware als blockiert, auch wenn wir die Ausführung des Programms erlauben, wenn der Benutzer aufgefordert wird, eine Entscheidung zu treffen. Wenn das System dann kompromittiert wird, betrachten wir es als benutzerabhängig. Unter "Schutz" verstehen wir, dass das System nicht kompromittiert ist. Dies bedeutet, dass die Malware nicht ausgeführt wird (oder entfernt/beendet wird) und keine Systemveränderungen stattfinden. Eine Warnung der Outbound-Firewall über einen laufenden Malware-Prozess, in der gefragt wird, ob der Datenverkehr vom Arbeitsplatz des Benutzers zum Internet blockiert werden soll oder nicht, betrachten wir nicht als Schutz.

Quellen und Anzahl der Testfälle

Wir versuchen, sichtbare und relevante bösartige Websites/Malware zu verwenden, die derzeit im Umlauf sind und ein Risiko für normale Benutzer darstellen. Wir versuchen, so viele Exploits aus der freien Wildbahn wie möglich einzubeziehen; diese werden in der Regel von fast allen wichtigen Sicherheitsprodukten gut abgedeckt, was ein Grund dafür sein könnte, dass die Ergebnisse relativ hoch ausfallen, abgesehen von der Tatsache, dass es auf einem vollständig gepatchten Windows-System nicht viele verschiedene Exploits gibt, gegen die getestet werden kann. Der Rest sind URLs, die direkt auf ausführbare Malware-Dateien verweisen; dadurch wird die Malware-Datei heruntergeladen und so ein Szenario nachgestellt, in dem der Benutzer durch Social Engineering dazu verleitet wird, Links in Spam-Mails oder auf Websites zu folgen oder einen Trojaner oder andere bösartige Software zu installieren.

Wir verwenden unser eigenes Crawling-System, um kontinuierlich nach bösartigen Websites zu suchen und bösartige URLs zu extrahieren (einschließlich gespammter bösartiger Links). Wir suchen auch manuell nach bösartigen URLs. Für den seltenen Fall, dass unsere internen Methoden an einem Tag nicht genügend gültige bösartige URLs finden, haben wir einige externe Forscher unter Vertrag genommen, die zusätzliche bösartige URLs bereitstellen (zunächst zur ausschließlichen Verwendung durch AV-Comparatives) und nach zusätzlichen (Re-)Quellen suchen.

Bei dieser Art von Tests ist es sehr wichtig, genügend Testfälle zu verwenden. Wenn bei Vergleichstests eine unzureichende Anzahl von Proben verwendet wird, deuten die Unterschiede in den Ergebnissen möglicherweise nicht auf die tatsächlichen Unterschiede in der Schutzwirkung der getesteten Produkte hin. Bei unseren Tests werden viel mehr Testfälle (Proben) pro Produkt und Monat verwendet als bei ähnlichen Tests anderer Prüflabors. Aufgrund der dadurch erzielten höheren statistischen Signifikanz betrachten wir alle Produkte in jeder Ergebnisgruppe als gleich wirksam, wobei wir davon ausgehen, dass die Rate der falsch-positiven Ergebnisse unter dem Branchendurchschnitt liegt.

Testverfahren

Vor dem Aufrufen jeder neuen bösartigen URL aktualisieren wir die Programme/Signaturen (wie oben beschrieben). Unser automatisiertes Testverfahren sendet eine bösartige URL an alle Testrechner gleichzeitig, um sicherzustellen, dass für jedes Produkt die gleichen Testbedingungen gelten. Der Bewertungsprozess für jeden Testfall erkennt alle Abweichungen zwischen den Malware-Dateien, die auf den einzelnen Testrechnern ausgeführt werden. Nachdem die Malware ausgeführt wurde (sofern sie nicht zuvor blockiert wurde), warten wir mehrere Minuten auf bösartige Aktionen und geben z. B. Verhaltensblockern Zeit, zu reagieren und die von der Malware ausgeführten Aktionen zu korrigieren. Wenn die Malware nicht erkannt wird und das System tatsächlich infiziert/kompromittiert ist, geht der Prozess zu "System kompromittiert" über. Andernfalls wird davon ausgegangen, dass das Produkt das Testsystem geschützt hat, es sei denn, es ist eine Benutzerinteraktion erforderlich. Wenn in diesem Fall die schlechtestmögliche Entscheidung des Benutzers dazu führt, dass das System kompromittiert wird, bewerten wir dies als "benutzerabhängig". Wenn ein getestetes Produkt eine Benutzerentscheidung verlangt, wählen wir immer die Option, das Programm laufen zu lassen (z. B. "Zulassen"). In den Fällen, in denen wir dies tun, das Programm aber trotzdem blockiert wird, wird davon ausgegangen, dass das Programm das System geschützt hat. Nach jedem Testfall wird der Rechner in seinen sauberen Zustand zurückgesetzt.

False Positives

Der Fehlalarmtest im dynamischen "Real-World"-Gesamtproduktschutztest besteht aus zwei Teilen: fälschlicherweise blockierte Domänen (beim Browsen) und fälschlicherweise blockierte Dateien (beim Herunterladen/Installieren). Es ist notwendig, beide Szenarien zu testen, da das Testen nur eines der beiden oben genannten Fälle Produkte benachteiligen könnte, die sich hauptsächlich auf eine Art von Schutzmethode konzentrieren, entweder URL-Filterung oder auf Zugriffs-/Verhaltens-/Reputations-basierten Dateischutz.

1. a) Falsch blockierte Domains (beim Surfen)

Wir verwenden etwa eintausend zufällig ausgewählte populäre Domains. Blockierte, nicht bösartige Domains/URLs werden als False Positives (FPs) gezählt.

1. b) Falsch blockierte Dateien (beim Herunterladen/Installieren)

Wir verwenden etwa einhundert verschiedene Anwendungen, die entweder als Top-Downloads oder als neue/empfohlene Downloads von zehn verschiedenen beliebten Download-Portalen aufgeführt sind. Die Anwendungen werden von den Original-Websites der Software-Entwickler heruntergeladen (und nicht vom Host des Download-Portals), auf der Festplatte gespeichert und installiert, um zu sehen, ob sie in irgendeiner Phase dieses Verfahrens blockiert werden. Zusätzlich haben wir einige saubere Dateien aufgenommen, die in den letzten Monaten des Real-World Protection Tests gefunden und beanstandet wurden.

Zusammenfassung

Detection	Ja
False-Positives	Ja
Cloud-Konnektivität	Ja
Aktualisierungen erlaubt	Ja
Standard-Konfiguration	Ja (für Verbraucherprodukte)