Real-World Protection Test Februar-Mai 2021

Einführung

Schadsoftware stellt eine immer größere Bedrohung dar, nicht nur, weil die Zahl der Malware-Programme zunimmt, sondern auch wegen der Art der Threats. Die Infektionsvektoren ändern sich von einfachen dateibasierten Methoden hin zur Verbreitung über das Internet. Malware konzentriert sich zunehmend auf Privatanwender, indem sie sie z.B. dazu verleitet, infizierte Webseiten zu besuchen, betrügerische/schädliche Software zu installieren oder E-Mails mit schädlichen Anhängen zu öffnen. Der Schutz durch Antivirus-Programme wird z.B. durch URL-Blocker, Content-Filter, Cloud-Reputationssysteme, ML-basierte statische und dynamische Erkennung und benutzerfreundliche Behavior Blocker erweitert. Wenn diese Funktionen perfekt auf die signaturbasierte und heuristische Erkennung abgestimmt sind, erhöht sich der Schutz vor Bedrohungen.

In diesem Test können alle Schutzfunktionen des Produkts verwendet werden, um eine Infektion zu verhindern - nicht nur Signaturen oder heuristische Dateiüberprüfungen. Eine Suite kann in jeder Phase des Prozesses eingreifen - beim Zugriff auf die URL, beim Download der Datei, bei der Erstellung einer Datei auf der lokalen Festplatte, beim Zugriff auf die Datei und beim Ausführen der Datei - um den PC zu schützen. Das bedeutet, dass der Test die realistischste Methode ist, um festzustellen, wie gut das Security-Produkt den PC schützt. Da alle Komponenten einer Suite zum Schutz des PCs eingesetzt werden können, ist es möglich, dass ein Produkt im Test gut abschneidet, wenn es z.B. einen perfekten Behavior Blocker, aber einen schwachen URL-Blocker hat. Wir empfehlen jedoch, dass alle Teile eines Produkts so effektiv wie möglich sein sollten. Es ist zu bedenken, dass nicht alle Malware über das Internet in Computersysteme eindringt und z.B. ein URL-Blocker gegen Malware, die über ein USB-Flash-Laufwerk oder ein lokales Netzwerk auf einen PC gelangt, unwirksam ist.

Trotz dieser Technologien ist es nach wie vor notwendig, dass auch konventionelle und nicht cloudbasierte Funktionen wie die signaturbasierten und heuristischen Erkennungsfähigkeiten von Security-Produkten weiterhin getestet werden. Selbst mit allen verfügbaren Schutzfunktionen bedeutet die zunehmende Häufigkeit von Zero-Day-Attacken, dass einige Computer unweigerlich infiziert werden. Da Signaturen aktualisiert werden können, ermöglichen sie, Malware zu erkennen und zu entfernen, die ursprünglich von der Antivirus-Software übersehen wurde. Andere Schutztechnologien bieten oft keine Möglichkeit, vorhandene Datenspeicher auf bereits infizierte Dateien zu überprüfen, die sich auf den Dateiservern vieler Unternehmen befinden. Diese Sicherheitsebenen sollten daher als Ergänzung zu guten Erkennungsraten verstanden werden, nicht als Ersatz.

Der Real-World Protection Test ist ein gemeinsames Projekt von AV-Comparatives und der Fakultät für Informatik und Qualitätstechnik der Universität Innsbruck. Es wird teilweise von der Republik Österreich finanziert.

Die Methodik unseres Real-World Protection Tests wurde unter anderem mit den folgenden Preisen und Zertifizierungen ausgezeichnet:

• Constantinus-Award - von der österreichischen Regierung erteilt
• Cluster Award - vergeben von der Standortagentur Tirol - Tiroler Landesregierung
• eAward - vergeben von report.at (Magazin für Informatik) und dem Bundeskanzleramt
• Innovationspreis IT - "Best Of" - vergeben von der Initiative Mittelstand Deutschland

Geprüfte Produkte

• Avast Free Antivirus
  20.1 | 21.1 | 21.2 | 21.3
• AVG Free AntiVirus
  20.1 | 21.1 | 21.2 | 21.3
• Avira Antivirus Pro
  15.0 | 15.0 | 15.0 | 15.0
• Bitdefender Internet Security
  25.0 | 25.0 | 25.0 | 25.0
• ESET Internet Security
  14.0 | 14.0 | 14.0 | 14.1
• G Data Total Security
  25.5 | 25.5 | 25.5 | 25.5
• K7 Total Security
  16.0 | 16.0 | 16.0 | 16.0
• Kaspersky Internet Security
  21.2 | 21.2 | 21.2 | 21.3
• Malwarebytes Premium
  4.3 | 4.3 | 4.3 | 4.3
• McAfee Total Protection
  24.0 | 24.1 | 24.1 | 24.1
• NortonLifeLock Norton 360
  22.2 | 22.21 | 22.21 | 22.21
• Panda Free Antivirus
  20.0 | 20.0 | 20.0 | 20.0
• Total Defense Essential Anti-Virus
  12.0 | 12.0 | 12.0 | 13.0
• TotalAV Total Security
  5.14 | 5.14 | 5.14 | 5.14
• Trend Micro Internet Security
  17.0 | 17.0 | 17.0 | 17.0
• VIPRE Advanced Security
  11.0 | 11.0 | 11.0 | 11.0

Leider können wir für Microsoft Defender keine Ergebnisse liefern. Während der Tests wurden Teile von Defender nicht korrekt aktualisiert, obwohl sie für automatische Updates konfiguriert waren und manuelle Updates durchgeführt wurden. Da es keine Fehlermeldungen gab, wurde dieses Problem erst Anfang Juni entdeckt und erforderte eine Neuinstallation des Betriebssystems.

Testverfahren

Das Testen von Dutzenden von Antivirus-Produkten mit jeweils Hunderten von URLs pro Tag ist ein großer Arbeitsaufwand, der nicht manuell durchgeführt werden kann (da dazu Tausende von Websites parallel aufgerufen werden müssten), so dass eine Art von Automatisierung erforderlich ist.

Labor-Setup

Jeder potenzielle Testdatensatz, der für den Test verwendet werden soll, wird auf einem unverfälschten Rechner ohne Security-Software ausgeführt und analysiert, um sicherzustellen, dass er ein geeigneter Kandidat ist. Erfüllt die Malware diese Kriterien, wird die Quell-URL der Liste hinzugefügt, die mit den Antivirus-Produkten getestet werden soll. Alle Testfälle, die sich als ungeeignet erweisen, werden aus dem Testdatensatz ausgeschlossen.

Jede zu prüfende Security-Software wird auf einem eigenen Testrechner installiert. Die Computer sind alle mit dem Internet verbunden. Jedes System wird jeden Tag manuell aktualisiert, und jedes Produkt wird vor jedem einzelnen Testfall aktualisiert. Jeder Test-PC hat außerdem eine eigene externe IP-Adresse. Um eine stabile Internetverbindung für jeden PC zu gewährleisten, haben wir besondere Vereinbarungen mit den Internetanbietern und die notwendigen Vorkehrungen (mit speziell konfigurierten Firewalls usw.) getroffen, um andere Computer nicht zu schädigen (d.h. keinen "Outbreak" zu verursachen).

Software

Die Tests wurden unter einem vollständig gepatchten Microsoft Windows 10 64-Bit durchgeführt. Die Verwendung aktueller Software von Drittanbietern und eines aktualisierten Microsoft Windows 10 64-Bit erschwert es, Exploits in der Praxis zu finden. Daher sollten Nutzer ihre Systeme und Anwendungen immer auf dem neuesten Stand halten, um das Risiko einer Infektion durch Exploits zu minimieren, die ungepatchte Software-Schwachstellen nutzen.

Settings

Unser Real-World Protection Test zielt darauf ab, reale Bedingungen zu simulieren, wie sie von Nutzern täglich erlebt werden. Wenn Interaktionen angezeigt werden, wählen wir "Zulassen" oder etwas Gleichwertiges. Schützt das Produkt das System trotzdem, betrachten wir die Malware als blockiert, auch wenn wir die Ausführung des Programms zugelassen haben. Wenn das System aber kompromittiert ist, bezeichnen wir es als "User-Dependent". Unter "Schutz" verstehen wir, dass das System nicht kompromittiert wird. Das bedeutet, dass die Malware nicht ausgeführt wird (oder entfernt/beendet wurde) und dass es keine signifikanten/schädlichen Systemveränderungen gibt. Eine Warnung der Outbound-Firewall über einen laufenden Malware-Prozess, in der gefragt wird, ob der ausgehende Datenverkehr vom Arbeitsrechner der Endverbraucher zum Internet blockiert werden soll oder nicht, ist zu wenig, zu spät und wird von uns nicht als Schutz angesehen.

Vorbereitung auf jeden Prüfungstag

Jeden Morgen werden alle verfügbaren Aktualisierungen der Security-Software manuell heruntergeladen und installiert. Vor jedem Testfall haben die Produkte etwas Zeit, um neuere Updates, die gerade veröffentlicht wurden, automatisch herunterzuladen und zu installieren sowie ihre Schutzmodule zu laden (was in einigen Fällen einige Minuten dauert). Wenn ein größeres Signatur-Update für ein Produkt im Laufe des Tages zur Verfügung gestellt wird, aber nicht vor Beginn eines jeden Testfalls heruntergeladen und installiert wird, verfügt das Produkt zumindest über die Signaturen, die zu Beginn des Tages verfügbar waren. Dies entspricht der Situation eines normalen Endverbrauchers in der realen Welt.

Prüfzyklus für jede schädliche URL

Vor dem Aufrufen jeder neuen schädlichen URL aktualisieren wir die Programme/Signaturen (wie oben beschrieben). Neue Hauptproduktversionen (d.h. die erste Ziffer der Build-Nummer ist anders) werden einmal zu Beginn des Monats installiert, weshalb wir in jedem Monatsbericht nur die Hauptproduktversionsnummer angeben. Unsere Testsoftware überwacht den PC, so dass alle von der Malware vorgenommenen Änderungen aufgezeichnet werden. Außerdem überprüfen die Erkennungsalgorithmen, ob das Antivirus-Programm die Malware erkennt. Nach jedem Testfall wird der Rechner in seinen ursprünglichen Zustand zurückgesetzt.

Protection

Security-Produkte sollen den PC der Nutzer schützen und im Idealfall Malware daran hindern, sich auszuführen und Aktionen jeglicher Art durchzuführen. Es ist nicht so wichtig, zu welchem Zeitpunkt der Schutz erfolgt. Er kann beim Surfen auf der Website (z.B. Schutz durch URL-Blocker), beim Versuch der Ausführung eines Exploits, beim Herunterladen/Erstellen der Datei oder bei der Ausführung der Malware (entweder durch den Exploit oder durch den Nutzer) erfolgen. Nachdem die Malware ausgeführt wurde (falls sie nicht vorher blockiert wurde), warten wir einige Minuten auf schädliche Aktionen und geben z.B. Behavior Blockern Zeit, zu reagieren und die von der Malware ausgeführten Aktionen zu beheben. Wenn die Malware nicht erkannt wird und das System tatsächlich infiziert/kompromittiert ist (d.h. nicht alle schädlichen Aktionen wurden behoben), geht der Prozess zu "System Compromised" über. Wenn eine User-Interaktion erforderlich ist und die Nutzer entscheiden müssen, ob etwas schädlich ist, und im Falle der schlechtesten Nutzerentscheidung das System kompromittiert wird, bewerten wir dies als "User-Dependent". Aus diesem Grund können die gelben Balken im Ergebnisdiagramm entweder als geschützt oder nicht geschützt interpretiert werden (es hängt von dem Nutzungsverhalten jedes Einzelnen ab zu entscheiden, was er/sie in dieser Situation vermutlich tun würden).

Aufgrund des dynamischen Charakters des Tests, d.h. der Nachahmung realer Bedingungen, und der Funktionsweise verschiedener Technologien (z.B. Cloud-Scanner, Reputationsdienste usw.) ist es eine Tatsache, dass solche Tests nicht in der Weise wiederholt oder repliziert werden können, wie dies z.B. bei statischen Erkennungsraten-Tests möglich ist. In jedem Fall protokollieren wir so viele Daten wie möglich, um unsere Erkenntnisse und Ergebnisse zu untermauern. Die Hersteller sind aufgefordert, nützliche Protokollfunktionen in ihre Produkte einzubauen, die im Falle von Streitigkeiten die gewünschten zusätzlichen Daten liefern können. Nach jedem Testmonat erhalten die Hersteller die Möglichkeit, unsere Schlussfolgerungen zu den kompromittierten Fällen anzufechten, so dass wir erneut prüfen können, ob es vielleicht Probleme bei der Automatisierung oder bei unserer Analyse der Ergebnisse gab.

Bei Cloud-Produkten können wir nur die Ergebnisse berücksichtigen, die die Produkte zum Zeitpunkt der Prüfung in unserem Labor erzielt haben. Manchmal sind die von den Security-Anbietern bereitgestellten Cloud-Dienste aufgrund von Fehlern oder Ausfallzeiten für Wartungsarbeiten der Anbieter nicht verfügbar, aber diese Ausfallzeiten werden den Nutzern von den Anbietern oft nicht mitgeteilt. Dies ist auch ein Grund, warum Produkte, die sich zu sehr auf Cloud-Dienste verlassen (und keine lokalen Heuristiken, Behavior Blocker usw. verwenden), riskant sein können, da in solchen Fällen die von den Produkten gebotene Sicherheit erheblich abnehmen kann. Cloud-Signaturen/Reputation sollten in die Produkte implementiert werden, um die anderen lokalen/Offline-Schutzfunktionen zu ergänzen, sie aber nicht vollständig zu ersetzen, da z.B. Offline-Cloud-Dienste bedeuten würden, dass die PCs höheren Risiken ausgesetzt sind.

Testfälle

Wir versuchen, sichtbare und relevante schädliche Websites/Malware zu verwenden, die derzeit im Umlauf sind und eine Gefahr für normale Endverbraucher darstellen. Wir versuchen in der Regel, so viele funktionierende Drive-by-Exploits einzubeziehen, wie wir finden. Diese werden in der Regel von praktisch allen wichtigen Security-Produkten gut abgedeckt, was ein Grund dafür sein könnte, dass die Ergebnisse relativ hoch ausfallen. Der Rest sind URLs, die direkt auf ausführbare Malware-Dateien verweisen. Dadurch wird die Malware-Datei heruntergeladen und so ein Szenario nachgestellt, in dem Nutzer durch Social Engineering dazu verleitet werden, Links in Spam-Mails oder auf Websites zu folgen oder einen Trojaner oder andere schädliche Software zu installieren.

Wir verwenden unser eigenes Crawling-System, um kontinuierlich nach schädlichen Websites zu suchen und bösartige URLs zu extrahieren (einschließlich gespammter schädlicher Links). Wir suchen auch manuell nach schädlichen URLs.

Bei dieser Art von Tests ist es angebracht, genügend Testfälle zu verwenden. Wenn bei Vergleichstests eine unzureichende Anzahl von Proben verwendet wird, deuten die Unterschiede in den Ergebnissen möglicherweise nicht auf die tatsächlichen Unterschiede in der Schutzwirkung der getesteten Produkte hin. Bei unseren Tests werden mehr Testfälle (Samples) pro Produkt und Monat verwendet als bei ähnlichen Tests anderer Prüflabors. Aufgrund der dadurch erzielten höheren statistischen Signifikanz betrachten wir alle Produkte in jeder Ergebnisgruppe als gleich wirksam, wobei wir davon ausgehen, dass die Rate der False-Positives unter dem Branchendurchschnitt liegt. Lesen Sie mehr dazu in diesem Paper.

Ranking-System

Wir verwenden statistische Methoden wie die hierarchische Clusteranalyse (unter Verwendung der durchschnittlichen Verknüpfung zwischen den Gruppen), um die Ergebnisse zu gruppieren und zu sehen, auf welchem Ähnlichkeitsniveau die Cluster verbunden sind. Produkte, die überdurchschnittlich viele FPs (falsch blockierte-Rate) haben, werden nach dem unten stehenden Ranking-System herabgestuft. Produkte mit mehr als 100 FPs werden auf "Getestet" zurückgestuft.

False Positives (False Alarm) Test - Ergebnis

Der False-Alarm Test im Real-World Protection Test besteht aus zwei Teilen: fälschlicherweise blockierte Domains (beim Browsen) und fälschlicherweise blockierte Dateien (beim Herunterladen/Installieren). Es ist notwendig, beide Szenarien zu testen, da das Testen nur eines der beiden oben genannten Fälle Produkte benachteiligen könnte, die sich hauptsächlich auf eine Art von Schutzmethode konzentrieren, entweder URL-Filterung oder auf Zugriff/Verhalten/Reputation basierenden Dateischutz.

a) Falsch blockierte Domains (beim Surfen)

Wir verwendeten rund fünfhundert zufällig ausgewählte populäre Domains. Blockierte, nicht schädliche Domänen/URLs wurden als False-Positives (FPs) gezählt. Die fälschlicherweise blockierten Domains wurden den jeweiligen Anbietern zur Überprüfung gemeldet und sollten nun nicht mehr blockiert sein.

Bei der Blockierung ganzer Domains riskieren die Security-Produkte nicht nur einen Vertrauensverlust in ihre Warnmeldungen, sondern verursachen möglicherweise auch finanzielle Schäden (neben der Schädigung des Rufs der Website) für die Domaininhaber, einschließlich des Verlusts von z.B. Werbeeinnahmen. Daher empfehlen wir den Anbietern dringend, ganze Domains nur dann zu blockieren, wenn ihr einziger Zweck darin besteht, schadhaften Code zu transportieren/zu verbreiten, und ansonsten nur die bösartigen Seiten zu blockieren (sofern sie tatsächlich schadhaft sind). Produkte, die dazu neigen, URLs z.B. auf der Grundlage ihrer Reputation zu blockieren, sind unter Umständen anfälliger für dieses Problem und schneiden in Protection Tests auch besser ab, da sie viele unbeliebte/neue Websites blockieren können.

b) Falsch blockierte Dateien (beim Herunterladen/Installieren)

Wir haben rund Tausend verschiedene Anwendungen verwendet, die entweder als Top-Downloads oder als neue/empfohlene Downloads von verschiedenen Download-Portalen aufgeführt sind. Die Anwendungen wurden von den Original-Websites der Software-Entwickler heruntergeladen (und nicht vom Host des Download-Portals) und auf der Festplatte gespeichert und installiert, um zu sehen, ob sie in irgendeiner Phase dieses Verfahrens blockiert werden. Zusätzlich haben wir einige saubere Dateien aufgenommen, die in den letzten Monaten des Real-World Protection Tests gefunden und fälschlicherweise beanstandet wurden.

Die Aufgabe von Security-Produkten besteht darin, vor schädlichen Websites/Dateien zu schützen und nicht darin, den Zugang nur zu bekannten und beliebten Anwendungen und Websites zu zensieren oder zu beschränken. Wenn Nutzer bewusst eine hohe Sicherheitseinstellung wählen, die davor warnt, dass sie einige legitime Websites oder Dateien blockieren kann, dann kann dies als akzeptabel angesehen werden. Wir halten es jedoch nicht für akzeptabel, dies als Standardeinstellung zu verwenden, bei der der Nutzer nicht gewarnt wurde. Da der Test zu bestimmten Zeitpunkten durchgeführt wird und False-Positives (FPs) bei sehr beliebter Software/Websites in der Regel innerhalb weniger Stunden bemerkt und behoben werden, wäre es überraschend, wenn FPs bei sehr verbreiteten Anwendungen auftreten würden. Deswegen wären FP-Tests, die z.B. nur mit sehr beliebten Anwendungen durchgeführt werden oder die lediglich die 50 wichtigsten Dateien von auf einer Whitelist stehenden/überwachten Download-Portalen verwenden, eine Verschwendung von Zeit und Ressourcen. Endverbrauchern ist es egal, ob sie mit Malware infiziert sind, die aktuell nur sie alleine betrifft oder mehrere, genauso wie es ihnen egal ist, ob die FP-Zählung nur sie selbst betrifft. Auch wenn es wünschenswert ist, dass nicht viele Personen von FPs betroffen sind, sollte es das Ziel sein, FPs zu vermeiden und vor schädlichen Dateien zu schützen, unabhängig davon, wie viele Nutzer betroffen sind oder angesprochen werden. Die Prävalenz von FPs auf der Grundlage von Nutzerdaten ist für interne QA-Tests von AV-Anbietern von Interesse, aber für den durchschnittlichen Endverbraucher ist es wichtig zu wissen, wie genau sein Produkt zwischen sauberen und schädlichen Dateien unterscheidet.

Die folgende Tabelle zeigt die Anzahl der fälschlicherweise blockierten Domains/Dateien:

	FPs / User-dependent FPs (Summe)	FP-Score[1] [niedriger ist besser]
ESET, Kaspersky	0 / 0 (0)	0
Vipre	1 / 0 (1)	1
Total AV, Total Defense	2 / 0 (2)	2
Avira	3 / 0 (3)	3
G Data	3 / 1 (4)	3.5
Bitdefender	5 / 0 (5)	5
McAfee	6 / 0 (6)	6
K7	7 / 6 (13)	10
	Durchschnitt (14)	Durchschnitt 13
Avast, AVG	19 / 2 (21)	20
NortonLifeLock	22 / 1 (23)	22.5
Trend Micro	36 / 0 (36)	36
Panda	38 / 0 (38)	38
Malwarebytes	52 / 0 (52)	52

[1] Obwohl die "User Dependent" FPs für den Nutzer äußerst ärgerlich sind (insbesondere bei sauberen Dateien), wurden sie bei der "False-Positives-Rate" (FPs) nur zur Hälfte berücksichtigt, wie auch bei der Schutzrate.

Um festzustellen, welche Produkte aufgrund der Anzahl der fälschlicherweise blockierten Websites/Dateien in unserem Vergabesystem herabgestuft werden müssen, haben wir unsere Entscheidung mit statistischen Methoden und anhand der durchschnittlichen Punktzahlen untermauert. Die folgenden Produkte mit überdurchschnittlich hohen FPs wurden herabgestuft: Avast, AVG, NortonLifeLock, Trend Micro, Panda, und Malwarebytes.

Zusammenfassung - Ergebnis

Testzeitraum: Februar - Mai 2021 (736 Testfälle)

	Blockiert	User-Dependent	Kompromitiert	Schutzrate*	Cluster
Trend Micro	736	–	–	100%	1
Avast, AVG	735	1	–	99.9%	1
Bitdefender, Panda	735	–	1	99.9%	1
Malwarebytes, McAfee, Total Defense, Vipre	733	–	3	99.6%	2
Kaspersky	732	–	4	99.5%	2
NortonLifeLock	731	3	2	99.5%	2
G Data	731	–	5	99.3%	2
K7	730	2	4	99.3%	2
Avira	728	–	8	98.9%	3
ESET	727	–	9	98.8%	3
Total AV	726	–	10	98.6%	3

* ... Schutzrate = [Blockierte % + (User Dependent % / 2)]

Experten, die sich nicht um fälschlicherweise blockierte Dateien/Websites (Fehlalarme) oder benutzerabhängige Erkennungen kümmern, können sich auf die Schutzquoten verlassen, anstatt auf unsere Rangliste der Auszeichnungen, die diese Faktoren berücksichtigt.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2021 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Juni 2021)