Real-World Protection Test - Methodik

Betriebssystem

Microsoft Windows; die genaue Version wird im jeweiligen Testbericht vermerkt.

Ziel des Tests

Ziel dieses Tests ist es, herauszufinden, wie effektiv die Security-Produkte den Computer vor aktiven, realen Malware-Bedrohungen bei der Nutzung des Internets schützen. Jede der Schutzkomponenten in jedem Produkt kann zum Blockieren der Malware verwendet werden. Das Ziel ist es, herauszufinden ob die Security-Software den Computer schützt, indem sie die Malware daran hindert, Systemänderungen vorzunehmen (oder alle Änderungen zu beseitigen), wobei die Frage nach dem wie in diesem Test von untergeordneter Bedeutung ist.

Zielgruppe

Jeder, der mit einem Computer unter Microsoft Windows im Internet surft oder Webmail abruft, ist anfällig für webbasierte Malware-Angriffe und sollte über die Wirksamkeit von Security-Produkten informiert sein, die vor solchen Angriffen schützen können. IT-Fachleute und -Enthusiasten, die Kollegen, Kunden, Familienangehörige und Freunde technisch unterstützen, wollen wissen, welche Security-Produkte den besten Schutz für die von ihnen unterstützten Nutzer bieten.

Definition der Bedrohung

Webbasierte Malware ist jede Art von bösartigem Programm (z. B. Virus, Wurm, Trojaner), das aus dem Internet stammt und auf dem Computer des Benutzers ausgeführt werden kann, entweder über einen Exploit oder indem dem Benutzer vorgetäuscht wird, dass es sich um eine harmlose Datei wie ein Spiel handelt (z. B. durch Social Engineering).

Anwendungsbereich des Tests

Der Test befasst sich mit Malware, die aus dem Internet kommt, und berücksichtigt keine anderen Vektoren, über die Malware auf einen Computer gelangen kann, z. B. über ein USB-Flash-Laufwerk oder ein lokales Netzwerk. Die getesteten Produkte haben während des Tests uneingeschränkten Zugang zum Internet und können Reputationsfunktionen oder andere Cloud-Dienste in Anspruch nehmen. Daher gibt der Test keine Auskunft darüber, wie gut ein Produkt einen PC schützt, der offline ist. Lesern, die sich Gedanken über den proaktiven Offline-Schutz von Sicherheitsprodukten machen, wird empfohlen, den Bericht über unseren Heuristik-/Verhaltenstest zu lesen, der genau dieses Szenario abdeckt. Erreicht ein Produkt in diesem Test oder einem Abschnitt davon 100% Erkennung, so zeigt dies nur, dass es gegen alle bestimmten Muster in diesem einzelnen Test/Abschnitt geschützt hat.

Test Setup

Der Test wird auf identischen Systemen durchgeführt. Zu Beginn eines jeden Monats überprüfen wir, ob die neueste Hauptversion jedes Produkts installiert ist. Aktualisierungen kleinerer Versionen werden installiert, sobald sie verfügbar sind, und die neuesten Signaturen werden vor jedem einzelnen Testfall angewendet. Auf allen Testrechnern ist die Testing-Framework-Software installiert. Diese führt das Testverfahren durch, indem sie von den Testern übermittelte bösartige URLs aufruft, die zu einer Kompromittierung des Systems führen würden, wenn sie nicht erfolgreich durch die Sicherheitssoftware geschützt würden. Der Testrahmen umfasst auch eine eigene Überwachungssoftware, so dass alle Änderungen am System während des Tests aufgezeichnet werden. Außerdem überprüfen die Erkennungsalgorithmen, ob das Antivirenprogramm auf die Malware reagiert. Unser Testsystem überwacht, ob Änderungen an Dateien, der Windows-Registrierung, dem MBR, laufenden Prozessen, dem Netzwerkverkehr usw. vorgenommen werden. Es verlässt sich nicht auf das getestete Produkt, um festzustellen, ob die Malware blockiert wurde, was bedeutet, dass Sicherheitsanwendungen genauso effektiv getestet werden können wie lokal installierte Softwarelösungen. Eine weitere Komponente der Test-Framework-Software setzt die Testrechner nach jedem Testfall auf ihre Ausgangskonfiguration zurück.

Settings

In der Consumer-Testreihe werden alle Produkteinstellungen auf ihren Standardwerten belassen. Bei der Testserie für Unternehmen sind Änderungen der Einstellungen erlaubt und werden in den Berichten dokumentiert. Die Produkte haben während des gesamten Tests uneingeschränkten Zugriff auf die Cloud. Vor der eigentlichen Testdurchführung werden alle Produkte getestet, um sicherzustellen, dass sie korrekt konfiguriert sind und ordnungsgemäß funktionieren. Zusätzlich setzen wir Tools ein, um zu prüfen und zu protokollieren, ob die Verbindung zum Cloud-Dienst des Produkts (sofern vorhanden) ordnungsgemäß funktioniert.

Wenn Benutzerinteraktionen von einem Produkt verlangt werden, wählen wir immer "Zulassen" oder etwas Gleichwertiges. Wenn das Produkt das System trotzdem schützt, betrachten wir die Malware als blockiert, auch wenn wir die Ausführung des Programms erlauben, wenn der Benutzer aufgefordert wird, eine Entscheidung zu treffen. Wenn das System dann kompromittiert wird, betrachten wir es als benutzerabhängig. Unter "Schutz" verstehen wir, dass das System nicht kompromittiert ist. Dies bedeutet, dass die Malware nicht ausgeführt wird (oder entfernt/beendet wird) und keine Systemveränderungen stattfinden. Eine Warnung der Outbound-Firewall über einen laufenden Malware-Prozess, in der gefragt wird, ob der Datenverkehr vom Arbeitsplatz des Benutzers zum Internet blockiert werden soll oder nicht, betrachten wir nicht als Schutz.

Quellen und Anzahl der Testfälle

Wir versuchen, sichtbare und relevante bösartige Websites/Malware zu verwenden, die derzeit im Umlauf sind und ein Risiko für normale Benutzer darstellen. Wir versuchen, so viele Exploits aus der freien Wildbahn wie möglich einzubeziehen; diese werden in der Regel von fast allen wichtigen Sicherheitsprodukten gut abgedeckt, was ein Grund dafür sein könnte, dass die Ergebnisse relativ hoch ausfallen, abgesehen von der Tatsache, dass es auf einem vollständig gepatchten Windows-System nicht viele verschiedene Exploits gibt, gegen die getestet werden kann. Der Rest sind URLs, die direkt auf ausführbare Malware-Dateien verweisen; dadurch wird die Malware-Datei heruntergeladen und so ein Szenario nachgestellt, in dem der Benutzer durch Social Engineering dazu verleitet wird, Links in Spam-Mails oder auf Websites zu folgen oder einen Trojaner oder andere bösartige Software zu installieren.

Wir verwenden unser eigenes Crawling-System, um kontinuierlich nach bösartigen Websites zu suchen und bösartige URLs zu extrahieren (einschließlich gespammter bösartiger Links). Wir suchen auch manuell nach bösartigen URLs. Für den seltenen Fall, dass unsere internen Methoden an einem Tag nicht genügend gültige bösartige URLs finden, haben wir einige externe Forscher unter Vertrag genommen, die zusätzliche bösartige URLs bereitstellen (zunächst zur ausschließlichen Verwendung durch AV-Comparatives) und nach zusätzlichen (Re-)Quellen suchen.

Bei dieser Art von Tests ist es sehr wichtig, genügend Testfälle zu verwenden. Wenn bei Vergleichstests eine unzureichende Anzahl von Proben verwendet wird, deuten die Unterschiede in den Ergebnissen möglicherweise nicht auf die tatsächlichen Unterschiede in der Schutzwirkung der getesteten Produkte hin. Bei unseren Tests werden viel mehr Testfälle (Proben) pro Produkt und Monat verwendet als bei ähnlichen Tests anderer Prüflabors. Aufgrund der dadurch erzielten höheren statistischen Signifikanz betrachten wir alle Produkte in jeder Ergebnisgruppe als gleich wirksam, wobei wir davon ausgehen, dass die Rate der falsch-positiven Ergebnisse unter dem Branchendurchschnitt liegt.

Testverfahren

Vor dem Aufrufen jeder neuen bösartigen URL aktualisieren wir die Programme/Signaturen (wie oben beschrieben). Unser automatisiertes Testverfahren sendet eine bösartige URL an alle Testrechner gleichzeitig, um sicherzustellen, dass für jedes Produkt die gleichen Testbedingungen gelten. Der Bewertungsprozess für jeden Testfall erkennt alle Abweichungen zwischen den Malware-Dateien, die auf den einzelnen Testrechnern ausgeführt werden. Nachdem die Malware ausgeführt wurde (sofern sie nicht zuvor blockiert wurde), warten wir mehrere Minuten auf bösartige Aktionen und geben z. B. Verhaltensblockern Zeit, zu reagieren und die von der Malware ausgeführten Aktionen zu korrigieren. Wenn die Malware nicht erkannt wird und das System tatsächlich infiziert/kompromittiert ist, geht der Prozess zu "System kompromittiert" über. Andernfalls wird davon ausgegangen, dass das Produkt das Testsystem geschützt hat, es sei denn, es ist eine Benutzerinteraktion erforderlich. Wenn in diesem Fall die schlechtestmögliche Entscheidung des Benutzers dazu führt, dass das System kompromittiert wird, bewerten wir dies als "benutzerabhängig". Wenn ein getestetes Produkt eine Benutzerentscheidung verlangt, wählen wir immer die Option, das Programm laufen zu lassen (z. B. "Zulassen"). In den Fällen, in denen wir dies tun, das Programm aber trotzdem blockiert wird, wird davon ausgegangen, dass das Programm das System geschützt hat. Nach jedem Testfall wird der Rechner in seinen sauberen Zustand zurückgesetzt.

False Positives

Der Fehlalarmtest im dynamischen "Real-World"-Gesamtproduktschutztest besteht aus zwei Teilen: fälschlicherweise blockierte Domänen (beim Browsen) und fälschlicherweise blockierte Dateien (beim Herunterladen/Installieren). Es ist notwendig, beide Szenarien zu testen, da das Testen nur eines der beiden oben genannten Fälle Produkte benachteiligen könnte, die sich hauptsächlich auf eine Art von Schutzmethode konzentrieren, entweder URL-Filterung oder auf Zugriffs-/Verhaltens-/Reputations-basierten Dateischutz.

1. a) Falsch blockierte Domains (beim Surfen)

Wir verwenden etwa eintausend zufällig ausgewählte populäre Domains. Blockierte, nicht bösartige Domains/URLs werden als False Positives (FPs) gezählt.

1. b) Falsch blockierte Dateien (beim Herunterladen/Installieren)

Wir verwenden etwa einhundert verschiedene Anwendungen, die entweder als Top-Downloads oder als neue/empfohlene Downloads von zehn verschiedenen beliebten Download-Portalen aufgeführt sind. Die Anwendungen werden von den Original-Websites der Software-Entwickler heruntergeladen (und nicht vom Host des Download-Portals), auf der Festplatte gespeichert und installiert, um zu sehen, ob sie in irgendeiner Phase dieses Verfahrens blockiert werden. Zusätzlich haben wir einige saubere Dateien aufgenommen, die in den letzten Monaten des Real-World Protection Tests gefunden und beanstandet wurden.

Zusammenfassung

Verwandte Beiträge