Falscher Alarm Test September 2024

Einleitung

Dieser Bericht ist als Ergänzung im Test zum Schutz vor Malware September 2024 zu finden und bietet eine Auflistung von Details zu den entdeckten Fehlalarmen.

Bei AV-Tests ist es wichtig, nicht nur die Erkennungsfähigkeit, sondern auch die Zuverlässigkeit zu messen. Ein Aspekt der Zuverlässigkeit ist die Fähigkeit, saubere Dateien als solche zu erkennen und keine Fehlalarme (False Positives) zu produzieren. Kein Produkt ist vor False Positives (FPs) gefeit, aber einige produzieren mehr als andere. False-Positives-Tests messen, welche Programme in dieser Hinsicht am besten abschneiden, d.h. saubere Dateien trotz ihres Kontexts von bösartigen Dateien unterscheiden können. Da es keine vollständige Sammlung aller legitimen Dateien gibt, kann kein "ultimativer" Test auf FPs durchgeführt werden. Was getan werden kann und sinnvoll ist, ist die Erstellung und Verwendung einer Reihe von sauberen Dateien, die unabhängig voneinander gesammelt werden. Wenn bei Verwendung eines solchen Samples ein Produkt z.B. 15 FPs aufweist und ein anderes nur 2, ist es wahrscheinlich, dass das erste Produkt anfälliger für FPs ist als das andere. Das bedeutet nicht, dass das Produkt mit 2 FPs insgesamt nicht mehr als 2 FPs hat, aber die relative Anzahl ist wichtig. Unserer Ansicht nach sollten Antivirus-Produkte keine Fehlalarme bei sauberen Dateien erzeugen, unabhängig von der Anzahl der betroffenen Nutzer. Auch wenn einige Antivirus-Hersteller das Risiko von Fehlalarmen herunterspielen und das Risiko von Malware übertreiben, stützen wir uns bei der Produktbewertung nicht nur auf die angebliche Häufigkeit von Fehlalarmen. Wir tolerieren derzeit eine bestimmte Anzahl von Fehlalarmen (derzeit 10) innerhalb unseres sauberen Sets, bevor wir die Bewertungen abwerten. Bei Produkten, die eine höhere Anzahl von Fehlalarmen aufweisen, ist es wahrscheinlicher, dass sie Fehlalarme bei häufigeren Dateien oder in anderen Gruppen von sauberen Dateien auslösen. Die Prävalenzdaten, die wir für bereinigte Dateien bereitstellen, dienen nur zu Informationszwecken. Die angegebene Prävalenz kann innerhalb des Berichts variieren, je nachdem, welche Datei/Version den Fehlalarm ausgelöst hat oder wie viele Dateien der gleichen Art betroffen waren. Es kann Unterschiede in der Anzahl der Fehlalarme geben, die von zwei verschiedenen Programmen erzeugt werden, die dieselbe Erkennungsmaschine verwenden. Beispielsweise kann Anbieter A seine Erkennungs-Engine an Anbieter B lizenzieren, dennoch kann das Produkt von Anbieter A mehr oder weniger Fehlalarme aufweisen als das Produkt von Anbieter B. Solche Diskrepanzen könnten auf verschiedene Faktoren zurückzuführen sein, darunter Unterschiede in den internen Einstellungen, zusätzliche oder unterschiedliche sekundäre Engines/Signaturen/Whitelist-Datenbanken/Cloud-Dienste/Qualitätssicherung und mögliche Verzögerungen bei der Bereitstellung von Signaturen für Produkte von Drittanbietern.

Manchmal versuchen einige Anbieter zu bestreiten, warum einige saubere oder nicht bösartige Software/Dateien blockiert oder erkannt werden. Zu den Erklärungen gehören: die Software ist unbekannt oder zu neu und muss noch auf die Whitelist gesetzt werden, die Erkennung nicht aktueller/alter Versionen aufgrund der Verfügbarkeit neuerer Softwareversionen, die begrenzte Nutzung innerhalb ihrer Benutzerbasis, das völlige Fehlen von Benutzerberichten über Fehlalarme (was darauf hindeutet, dass es bei ihnen keine Fehlalarme gibt), Fehler in der sauberen Software (z.B., eine Anwendung, die unter bestimmten Umständen abstürzt), Fehler oder fehlende Informationen in den Endnutzer-Lizenzvereinbarungen, die in einigen Ländern illegal sind (wie eine fehlende/unklare Offenlegung der Datenübertragung), subjektive Probleme bei der Benutzeroberfläche (z.B., fehlende Option zum Schließen des Programms in der Taskleiste), Software, die nur in bestimmten Sprachen verfügbar ist (z.B. Chinesisch), die Annahme, dass es sich bei der Datei um Malware handeln muss, weil andere Hersteller sie mit Hilfe eines Multiscanning-Dienstes erkennen (Nachahmungsverhalten, das wir leider immer häufiger beobachten), oder Probleme mit nicht verwandter Software desselben Herstellers/Vertreibers vor vielen Jahren. Würden diese Regeln konsequent angewandt, würde fast jede saubere Software irgendwann als Malware eingestuft werden. Solche Streitgründe sind oft nicht stichhaltig und werden daher abgelehnt. Antivirus-Produkte könnten die Kontrolle und das Verständnis ihrer Benutzer verbessern, indem sie Optionen wie die Filterung auf der Grundlage der Sprache oder der Gültigkeit der EULA anbieten und klare Erklärungen für die Erkennungen liefern, anstatt sie pauschal als Malware einzustufen. Dies würde den Nutzern ermöglichen, die Gründe für die Erkennung effektiver zu verwalten und zu verstehen. Letztendlich geht es nicht darum, welche spezifische Datei falsch eingestuft wird, sondern darum, dass sie falsch eingestuft wird. Mit laxen Signaturen/Heuristiken ist es ein Leichtes, eine hohe Malware-Erkennungsrate zu erreichen, wenn dies auf Kosten von False Positives geschieht. Obwohl wir hier sogar die Häufigkeit der Dateien auflisten, können dieselben Erkennungsregeln, die bei einigen seltenen Dateien diese FPs verursachen, auch die Ursache für einen großen FP-Fall sein, wenn die Erkennungssignaturen/Heuristiken nicht richtig korrigiert/angepasst werden.

Alle aufgeführten Fehlalarme traten zum Zeitpunkt der Prüfung auf. Falsche Alarme, die durch unverschlüsselte Datenblöcke in Antiviren-Dateien verursacht wurden, wurden nicht gezählt. Wenn ein Produkt mehrere Fehlalarme hatte, die zur gleichen Anwendung gehören, wird es hier nur als ein Fehlalarm gezählt. Cracks, Keygens oder andere höchst fragwürdige Tools werden hier nicht als Fehlalarme gezählt.

Um dem Nutzer mehr Informationen über die Fehlalarme (False-Positives – FPs) zu geben, versuchen wir, die Häufigkeit der Fehlalarme zu bewerten. Dateien, die digital signiert wurden, werden als bedeutender eingestuft. Daher wird eine Datei mit der niedrigsten Prävalenz stufe (Level 1) und einer gültigen digitalen Signatur auf die nächste Stufe hochgestuft (z. B. Prävalenz „Level 2“). Erloschene Dateien, die laut mehreren Telemetriequellen keine Prävalenz aufwiesen, wurden den Anbietern zur Verfügung gestellt, um sie zu korrigieren, wurden aber auch aus dem Set entfernt und nicht als Fehlalarm gezählt.

Die Prävalenz wird in fünf Kategorien angegeben und mit den folgenden Farben gekennzeichnet:

Level		Geschätzte Anzahl der betroffenen User	Kommentare
1		Wahrscheinlich weniger als Hundert User	Einzelfälle, alte oder selten genutzte Dateien, sehr geringe Prävalenz
2		Wahrscheinlich mehrere Hundert User	Die initiale Verbreitung solcher Dateien war wahrscheinlich viel höher, aber die derzeitige Nutzung auf aktuellen Systemen ist geringer (trotz ihres Vorhandenseins), weshalb auch bekannte Software nur noch eine Verbreitung von einigen Hundert oder Tausend Nutzern haben bzw. betreffen.
3		Wahrscheinlich mehrere Tausend User
4		Wahrscheinlich mehrere Zehntausend (oder mehr) User
5		Wahrscheinlich mehrere Hunderttausend oder Millionen User	Solche Fälle werden bei einem False-Alarm Test, der zu einem bestimmten Zeitpunkt durchgeführt wird, wahrscheinlich sehr viel seltener auftreten, da solche Dateien in der Regel entweder auf einer Whitelist stehen oder sehr schnell bemerkt und behoben werden würden.

Die meisten Fehlalarme werden wahrscheinlich (hoffentlich) in die ersten beiden Kategorien fallen.

False Positives (FPs) sind ein wichtiger Maßstab für die Bewertung der Qualität von Antivirenprogrammen. Darüber hinaus sind solche Tests notwendig, um zu verhindern, dass Hersteller ihre Produkte nur für ein gutes Abschneiden in Tests optimieren. Daher werden Fehlalarme auf die gleiche Weise bewertet und getestet wie Malware-Tests. Ein einziger FP-Bericht eines Kunden kann einen beträchtlichen Aufwand an Technik und Support auslösen, um das Problem zu beheben, was manchmal zu Datenverlusten oder zur Nichtverfügbarkeit des Systems führt. Selbst scheinbar unbedeutende FPs (oder FPs bei älteren Anwendungen) verdienen Aufmerksamkeit, da sie auf zugrundeliegende Probleme im Produkt hinweisen können, die möglicherweise FPs bei wichtigeren Dateien verursachen können. Nachfolgend finden Sie Informationen zu den Fehlalarmen, die in unserer unabhängigen Gruppe von sauberen Dateien beobachtet wurden. Rot markierte Einträge weisen auf Fehlalarme bei Dateien hin, die digital signiert wurden.

Geprüfte Produkte

• Avast Free Antivirus 24.8
• AVG Internet Security 24.7
• Avira Free Security 1.1
• Bitdefender Total Security 27.0
• ESET HOME Security Essential 17.2
• F-Secure Internet Security 19.5
• G DATA Total Security 25.5
• Kaspersky Standard 21.18
• McAfee Total Protection 1.21
• Microsoft Defender Antivirus 4.18
• Norton Antivirus Plus 22.24
• Panda Free Antivirus 22.02
• Quick Heal Internet Security 24.0
• Total Defense Essential Anti-Virus 14.0
• TotalAV Antivirus Pro 6.0
• Trend Micro Internet Security 17.8

Test-Ergebnisse

Um die Qualität der Datei-Erkennungsfähigkeiten (Fähigkeit, gute Dateien von schädlichen Dateien zu unterscheiden) von Antivirus-Produkten besser beurteilen zu können, bieten wir einen False-Alarm Test an. False-Positives (FPs) können manchmal genauso viel Ärger verursachen wie eine echte Infektion. Bitte berücksichtigen Sie die Fehlalarmrate bei der Betrachtung der Erkennungsraten, da ein Produkt, das zu Fehlalarmen neigt, leichter höhere Erkennungsraten erreichen kann. In diesem Test wurde ein repräsentativer Satz von sauberen Dateien gescannt und ausgeführt (wie bei Malware).

1.	Kaspersky, Trend Micro	1	sehr wenige FPs
2.	ESET	2	wenige FPs
3.	G Data	3
4.	Avast, AVG	4
5.	Bitdefender, Quick Heal, Total Defense	5
6.	Microsoft	8
7.	McAfee, TotalAV	13	viele FPs
8.	Avira	15
9.	F-Secure	17
10.	Panda	28	sehr viele FPs
11.	Norton	32

Ein Produkt, das einen hohen Prozentsatz schädlicher Dateien erkennt, aber gleichzeitig Fehlalarme erzeugt, ist nicht unbedingt besser als ein Produkt, das weniger schädliche Dateien erkennt, aber auch weniger Fehlalarme erzeugt.

Die dargestellten Erkennungsnamen stammen in erster Linie aus Scan-Protokollen vor der Ausführung, sofern verfügbar. Wenn eine Bedrohung während oder nach der Ausführung blockiert wurde oder wenn kein eindeutiger Erkennungsname ermittelt werden konnte, wird in der Spalte "Erkannt als" "Blockiert" angegeben.

Details zu den aufgedeckten Fehlalarmen

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2024 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Oktober 2024)