Diese Website verwendet Cookies, um Ihnen die bestmögliche Nutzung unserer Website zu ermöglichen.
Bitte beachten Sie, dass Sie durch die weitere Nutzung dieser Website den Bedingungen unserer Privacy and Data Protection Policy zustimmen.
Akzeptieren

Spotlight auf Sicherheit: Warum schneiden AV-Produkte in professionellen Tests so gut ab?

Diese Frage stellt sich häufig in Internetforen, die sich mit dem Thema Sicherheit befassen. Warum schneiden Antivirenlösungen schlechter ab, wenn sie von Amateuren getestet werden, als wenn sie von professionellen Testern geprüft werden? Organisationen? Es mutet seltsam an, wenn Hobbytester auf YouTube Tests veröffentlichen, die eine größere Herausforderung für die AV-Programme zu sein scheinen als die Vergleichstests der Berufsverbände. Trotz populärer Verschwörungstheorien gibt es eine logische Erklärung für diese scheinbar widersprüchlichen Testergebnisse.

Die Ergebnisse der YouTube-Tester spiegeln möglicherweise nicht die Realität wider

Obwohl die meisten Heim-/Hobbytester ihre Tests nicht auf YouTube oder in Sicherheitsforen veröffentlichen, werden wir die Heimtester im Allgemeinen als YouTube-Tester bezeichnen (wie sie in der AV-Branche oft genannt werden). Wir möchten jedoch darauf hinweisen, dass einige YouTube-Tester ihre Tests mit den besten Absichten veröffentlichen und Folgendes enthalten nützlich Einblicke in z.B. die Benutzeroberfläche des Produkts. Wir ermutigen Benutzer, vor dem Kauf eine Testversion eines AV-Produkts zu installieren, an dem sie interessiert sind, damit sie selbst entscheiden können, ob es ihren persönlichen Anforderungen entspricht. Wir empfehlen Ihnen auch, sich nicht blind auf einen einzigen Testbericht zu verlassen, auch nicht auf den von seriösen, unabhängigen Testern. Testlabore. Zwei oder drei Tests, die alle Aspekte des Schutzes und der Leistung eines Produkts abdecken, ergeben ein vollständigeres Bild, und eine Gegenprüfung durch einen Test eines anderen angesehenen Labors kann keine schlechte Idee sein.

Die meisten Heim- und Hobbytester haben in der Regel nur Zugang zu öffentliche verfügbare Malware-Pakete, und laden Sie sie auf VirusTotal die Proben, die ihre Testpersonen übersehen haben, um die Gültigkeit ihrer Probenmenge zu überprüfen. Häufig werden diese Proben nur von einigen wenigen AV-Produkten als Malware erkannt, was zu der (falschen) Schlussfolgerung führt, dass AV-Lösungen im Allgemeinen gegen Malware nutzlos sind, weil die getesteten AV-Produkte sie nicht erkannt haben. Diese Schlussfolgerung ist aus verschiedenen Gründen falsch. Einer der Gründe ist, dass die teilnehmenden AV-Produkte auf VirusTotal nur die hochgeladenen Samples mit ihren On-Demand Scanner. Dies erklärt, warum viele AV-Produkte diese Proben nicht erkennen, weil nur einer ihrer vielen Erkennungsmechanismen verwendet wird, während ihre leistungsfähigsten Technologien (wie Verhaltensanalyse, Sandboxing usw.) ignoriert werden. Im Allgemeinen verwenden die YouTube-Tester oft mangelhafte (partielle) Testmethoden. Die meisten YouTube-Tester laden häufig ein Malware-Paket herunter, entpacken dieses Malware-Beispielpaket (mit deaktiviertem Virenschutz), aktivieren die AV-Lösung ihrer Wahl und führen die ausführbaren Malware-Dateien aus (oder scannen sie sogar nur). Auf diese Weise werden viele Schutzmechanismen der getesteten AV-Lösung ausgeschaltet. So verhalten sich beispielsweise die meisten AV-Produkte anders, wenn eine Datei von einer URL mit schlechtem Ruf heruntergeladen wird. Aus diesem Grund kann ein bestimmtes Muster eine AV-Lösung in einem "Entpacken und Scannen/Ausführen"-Test umgehen, während das gleiche Muster mit der gleichen AV-Lösung im "Real-World Protection"-Test von AV-Comparatives (der die Infektionskette nachahmt und die echte Quell-URL im Ausführungsszenario verwendet) blockiert werden kann. Ein weiterer Fehler, der häufig von Hobby-Testern gemacht wird, ist die Verwendung fehlerhafter (teilweise inaktiver) Testmuster. Einige der Beispiele funktionieren möglicherweise nur auf einem ungepatchten PC. Wenn ein YouTube-Tester URLs aus einer öffentlichen Quelle bösartiger URLs kopiert und (versucht), sie auszuführen, könnte es durchaus sein, dass Anbieter A dieses lahme Beispiel komplett ignoriert, Anbieter B es nur bei der Ausführung blockiert und Anbieter C den Zugriff auf die URL blockiert (vielleicht sogar nur aus dem Grund, dass die URL im öffentlichen Repository aufgeführt ist). Für den YouTube-Tester würde dieses Beispiel den Unterschied in der Schutzstärke dieser drei Anbieter verdeutlichen. In allen Szenarien hätte dieses Beispiel das System nicht infiziert, unabhängig davon, welches AV-Produkt installiert war. Schließlich interpretieren die meisten Hobbytester die Ergebnisse ihrer Tests falsch, weil sie nicht über ausreichende Mittel verfügen, um zu überprüfen, ob die Malware das System wirklich infiziert hat. Bei Ransomware ist das oft recht einfach nachzuweisen, aber bei anderen Arten von Malware (Würmer, Backdoors und Keylogger) ist es für Laien manchmal schwieriger festzustellen, ob das System wirklich kompromittiert wurde. Ein typisches YouTuber-Testskript besteht darin, eine Reihe von (vermeintlich aktiven und funktionierenden) Malware-Samples auszuführen. Eine Antiviren-Eingabeaufforderung oder ein Popup-Fenster wird als erfolgreiche Blockierung gezählt (obwohl eine Erkennungsmeldung nicht bedeutet, dass die Malware wirklich blockiert oder das System geschützt wurde). Fehlschläge werden einfach durch Subtraktion der Blockierungen von der Anzahl der Proben ermittelt. In diesem Szenario werden verkrüppelte Proben, die das System nicht infizieren, als Fehlschläge gezählt, wenn sie nicht blockiert werden. Danach wird das System häufig mit einigen gängigen Malware-Reinigungstools gescannt, und wenn Reste gefunden werden, werden sie als Beweis dafür verwendet, dass das AV-Produkt versagt hat oder dass ein anderes Produkt besser ist.

Ein weiterer Aspekt, der von einigen YoutTube-Testern oft ignoriert wird, sind Fehlalarme. Es ist recht einfach, ein Produkt zu entwickeln, das jede Malware blockiert, wenn dies auf Kosten einer hohen FP-Rate geschieht (oder indem der Nutzer aufgefordert wird, jedes Mal selbst eine Entscheidung zu treffen).

Warum die Ergebnisse von YouTube-Testern fehlerhaft sein können: (1) unvollständige Testmethoden

Die meisten AV-Lösungen verfügen über mehrere Schichten von Sicherheitsmechanismen wie URL-Blacklists, dynamische Internet-Inhaltsanalyse (z. B. JavaScript in Browsern), Reputationsdienst, statische PE-Analyse und Heuristik, erweiterte dynamische Code-Analyse, Code-Emulation, Verhaltensanalyse, Sandboxing und (teilweise) HIPS (zum Schutz kritischer Systemkomponenten). Typische YouTube-Tester führen sehr oft Tests durch, die nicht alle Schutzfunktionen berücksichtigen, entweder aufgrund der Art und Weise, wie sie testen (was das ordnungsgemäße Funktionieren der ganzheitlichen Schutzfunktionen behindert) oder absichtlich durch Deaktivierung bestimmter Funktionen. Unsere Real-World Protection Tests ahmen die Gefahren nach, denen ein Endbenutzer im Alltag begegnet. Diese dynamischen Tests ermöglichen die vollständige Bewertung aller Schutzmechanismen einer AV-Lösung in allen Phasen eines Malware-Intrusionsszenarios. Unsere Testmethoden folgen den besten Praktiken der Branche, und wir sind von unabhängigen Drittorganisationen zertifiziert: ISO-Zertifizierung für "Unabhängige Tests von Antivirensoftware" und EICAR-Standards Certification für 'Trusted IT-Security Testing Lab''. Auch unsere selbstentwickelten Test-Frameworks wurden mehrfach ausgezeichnet. Professionelle Labore testen AV-Produkte unter optimalen Bedingungen (z. B. Installation der neuesten Updates und Sicherstellung, dass sie ihre Cloud-Dienste erreichen können), während normale Benutzer möglicherweise nicht in der Lage sind, die Funktionalität in dieser Tiefe zu prüfen oder zu wissen, ob sie die neuesten Versionen/Definitionen verwenden.

Warum die Ergebnisse von YouTube-Testern fehlerhaft sein können: (2) fehlerhafte Proben

Professionelle Prüfer sammeln täglich Tausende von Proben. Die meisten der über 300.000 Proben, die jeden Tag gesichtet werden Tag ist auto-generiert und nicht wirklich anders. Bei einer großen Anzahl dieser Muster handelt es sich um die gleichen Malware-Varianten. Sie werden wahrscheinlich nie aktiv das System eines Benutzers infizieren. Die Wahrscheinlichkeit, dass ein durchschnittlicher Heimanwender unter realen Bedingungen auf die spezifisch generierten Varianten stößt, geht gegen Null. Aus diesem Grund konzentrieren wir uns auf die Vielfalt der Malware-Familien und schließen diese "mehr-aus-einer-Familie"-Varianten aus und konzentrieren uns auf weit verbreitet Malware, die in der Praxis vorkommt, um einen repräsentativen Testsatz zu erstellen. Zwei Drittel dieser 300k sind in der Regel aus verschiedenen Gründen ungeeignet (Überreste, beschädigte Dateien, nicht auf dem Patch-Level des Zielbetriebssystems funktionierend usw.) oder PUA (potenziell unerwünschte Anwendungen). Solche Dateien werden von professionellen Tests ausgeschlossen, da sie möglicherweise nur Möglicherweise unerwünschte oder keine bösartigen Aktivitäten auf dem Zielsystem durchführen. Aufgrund der unterschiedlichen Meinungen und Klassifizierungen, was eine PUA ist und was legitim ist (es gibt auch kulturelle Unterschiede), würde die Einbeziehung von PUAs es unmöglich machen, die Ergebnisse eines Anbieters mit denen eines anderen zu vergleichen. Da dies das Hauptziel eines Vergleichstests ist, filtern wir auch PUAs heraus.

Einige YouTube-Tester könnten sogar ihre eigene Malware schreiben (was als unethisch und in einigen Ländern auch als illegal angesehen werden könnte); abgesehen von der Tatsache, dass die selbst geschriebene/künstliche Test-Malware (hoffentlich) nie in freier Wildbahn zu sehen wäre (und daher nicht die reale Welt repräsentiert), ist auch zu bedenken, dass praktisch jedes Produkt umgangen werden kann, wenn genügend Zeit und Ressourcen dafür aufgewendet werden. Je nach den Absichten der Person, die die YouTube-Tests durchführt (oft ist nicht bekannt, wer ein anonymer Nickname ist und welche Verbindungen die Person hat), kann also jedes Ergebnis konstruiert werden.

Die meisten bösartigen Websites, die Malware nur für kurze Zeit (höchstens Stunden/Tage) aktiv sind. Wir stimmen unsere Testreihe so ab, dass sie die Malware-Darstellung im Feld unter den aktuellen realen Bedingungen widerspiegelt; wir verwenden keine Proxys oder andere Abkürzungen, und wir verwenden Live-Testfälle, die sich derzeit als aktiv im Internet. Dies erklärt, warum wir "nur" eine durchschnittliche Testmenge von etwa 200 bösartigen Testfällen pro Monat verwenden. Auch andere professionelle Testlabors verwenden im Durchschnitt eine ähnliche Anzahl von bösartigen Testfällen in ihren realen Schutztests (z. B. AV-Test 250 pro zwei Monate, MRG-Effitas 300 pro Quartal und SE Labs etwa 100 pro Quartal). Die Testfälle werden gleichzeitig in getrennten Umgebungen ausgeführt. Jedes AV-Produkt läuft auf einem eigenen Rechner. Es ist wichtig, dass die Produkte parallel getestet werden, um zu verhindern, dass das Timing die Ergebnisse beeinflusst oder dass ein AV-Produkt von einer Erkennung durch ein anderes AV-Produkt profitiert (da einige AV-Produkte AV-Signaturen/Cloud-Dienste von Drittanbietern verwenden, könnten sie anders erkannt werden, wenn sie einige Sekunden später getestet werden).

Schlussfolgerung

Die meisten YouTube-Tests enden mit einem Blockierungsprozentsatz des getesteten AV-Produkts, der weit unter der Punktzahl liegen kann, die das gleiche Produkt in einem professionellen Test erreicht. Mit überzogenen Schlussfolgerungen, die auf begrenzten Testansätzen basieren, und ohne einen repräsentativen und ausgewogenen Satz von Malware-Samples, spiegeln die Ergebnisse der YouTube-Tester möglicherweise nicht den tatsächlichen Schutz des AV-Produkts wider Performance. Wie oben erläutert, wählen die meisten professionellen Tester ihren endgültigen Testsatz so aus, dass er die Malware-Familie in der Praxis widerspiegelt und auch einen False-Positives-Test enthält, um die Erkennungseffizienz der verschiedenen AV-Produkte zu vergleichen. Bei AV-Comparatives führen wir systematische und zertifizierte Tests durch, um unvoreingenommene vergleichende Berichte zu erstellen. Die große Anzahl von Aufrufen und Downloads unterstreicht den Informationswert dieser Berichte für die Verbraucher. Wir sind stolz darauf, uns dieses Vertrauen verdient zu haben und danken unseren Lesern für das Feedback, das sie uns in unseren jährlichen Sicherheitsberichten geben. Umfrage.