False Alarm Test September 2021

Einleitung

Dieser Bericht ist als Ergänzung im Malware Protection Test September 2021 zu finden und bietet eine Auflistung von Details zu den entdeckten Fehlalarmen.

Beim AV testen ist es wichtig, nicht nur die Erkennungsfähigkeit, sondern auch die Zuverlässigkeit zu messen. Ein Aspekt der Zuverlässigkeit ist die Fähigkeit, saubere Dateien als solche zu erkennen und keine Fehlalarme (False-Positives) zu produzieren. Kein Produkt ist vor False-Positives (FPs) gefeit, aber einige produzieren mehr als andere. False Positives Tests (False-Alarm Tests) messen, welche Programme in dieser Hinsicht am besten abschneiden, d. h. saubere Dateien trotz ihres Kontexts von schädlichen Dateien unterscheiden können. Da es keine vollständige Sammlung aller legitimen Dateien gibt, kann kein „ultimativer“ Test auf FPs durchgeführt werden. Was getan werden kann und sinnvoll ist, ist die Erstellung und Verwendung eines Sets von sauberen Dateien, die unabhängig voneinander gesammelt werden. Wenn bei Verwendung eines solchen Sets ein Produkt z. B. 15 FPs aufweist und ein anderes nur 2, ist es wahrscheinlich, dass das erste Produkt anfälliger für FPs ist als das andere. Das bedeutet nicht, dass das Produkt mit 2 FPs insgesamt nicht mehr als 2 FPs hat, aber es ist die relative Anzahl, die wichtig ist.

Geprüfte Produkte

• Avast Free Antivirus 21.7
• AVG Free AntiVirus 21.7
• Avira Antivirus Pro 15.0
• Bitdefender Internet Security 25.0
• ESET Internet Security 14.1
• G Data Total Security 25.5
• K7 Total Security 16.0
• Kaspersky Internet Security 21.3
• Malwarebytes Premium 4.4
• McAfee Total Protection 24.6
• Microsoft Defender Antivirus 4.18
• NortonLifeLock Norton 360 22.21
• Panda Free Antivirus 21.0
• Total Defense Essential Anti-Virus 13.0
• TotalAV Total Security 5.15
• Trend Micro Internet Security 17.0
• VIPRE Advanced Security 11.0

Testverfahren

Um dem Nutzer mehr Informationen über die Fehlalarme (False-Positives – FPs) zu geben, versuchen wir, die Häufigkeit der Fehlalarme zu bewerten. Dateien, die digital signiert wurden, werden als bedeutender eingestuft. Daher wird eine Datei mit der niedrigsten Prävalenz stufe (Level 1) und einer gültigen digitalen Signatur auf die nächste Stufe hochgestuft (z. B. Prävalenz „Level 2“). Erloschene Dateien, die laut mehreren Telemetriequellen keine Prävalenz aufwiesen, wurden den Anbietern zur Verfügung gestellt, um sie zu korrigieren, wurden aber auch aus dem Set entfernt und nicht als Fehlalarm gezählt.

Die Prävalenz wird in fünf Kategorien angegeben und mit den folgenden Farben gekennzeichnet:

Level		Geschätzte Anzahl der betroffenen User	Kommentare
1		Wahrscheinlich weniger als Hundert User	Einzelfälle, alte oder selten genutzte Dateien, sehr geringe Prävalenz
2		Wahrscheinlich mehrere Hundert User	Die initiale Verbreitung solcher Dateien war wahrscheinlich viel höher, aber die derzeitige Nutzung auf aktuellen Systemen ist geringer (trotz ihres Vorhandenseins), weshalb auch bekannte Software nur noch eine Verbreitung von einigen Hundert oder Tausend Nutzern haben bzw. betreffen.
3		Wahrscheinlich mehrere Tausend User
4		Wahrscheinlich mehrere Zehntausend (oder mehr) User
5		Wahrscheinlich mehrere Hunderttausend oder Millionen User	Solche Fälle werden bei einem False-Alarm Test, der zu einem bestimmten Zeitpunkt durchgeführt wird, wahrscheinlich sehr viel seltener auftreten, da solche Dateien in der Regel entweder auf einer Whitelist stehen oder sehr schnell bemerkt und behoben werden würden.

Die meisten Fehlalarme werden wahrscheinlich (hoffentlich) in die ersten beiden Kategorien fallen.

Unserer Meinung nach sollten Antivirus-Produkte keine Fehlalarme auslösen und das bei allen Arten von sauberen Dateien, unabhängig davon, wie viele User derzeit davon betroffen sind. Auch wenn einige AV-Anbieter das Risiko von Fehlalarmen herunterspielen und das Risiko von Malware hochspielen, werden wir Produkte nicht auf der Grundlage der angeblichen Häufigkeit von Fehlalarmen bewerten. Wir lassen bereits eine bestimmte Anzahl von Fehlalarmen (derzeit 10) innerhalb unseres sauberen Satzes zu, bevor wir anfangen, Punkte abzuziehen. Unserer Meinung nach ist es bei Produkten, die eine höhere Anzahl von Fehlalarmen produzieren, auch wahrscheinlicher, dass sie bei verbreiteten Dateien (oder in anderen Sets von sauberen Dateien) Fehlalarme produzieren. Die Prävalenzdaten, die wir für saubere Dateien angeben, dienen nur zu Informationszwecken. Die angegebene Prävalenz kann innerhalb des Berichts abweichen, je nachdem, bei welcher Datei/Version der Fehlalarm auftrat und/oder wie viele Dateien derselben Art betroffen waren.

Testfälle

Alle aufgeführten Fehlalarme traten zum Zeitpunkt der Prüfung auf. Fehlalarme, die durch unverschlüsselte Datenblöcke in Antivirus-bezogenen Dateien verursacht werden, wurden nicht gezählt. Wenn ein Produkt mehrere Fehlalarme hatte, die zur gleichen Anwendung gehören, wird es hier nur als ein Fehlalarm gezählt. Cracks, Keygens oder andere höchst fragwürdige Tools, einschließlich FPs, die in erster Linie von Anbietern verbreitet werden (die mehrere Tausend sein können) oder von anderen nicht unabhängigen Quellen, werden hier nicht als False-Positives gezählt.

Test-Ergebnisse

Die Anzahl der False-Positives, die von zwei verschiedenen Programmen erzeugt werden, die dieselbe Engine („principal detection component“) verwenden, kann unterschiedlich sein. So kann etwa Anbieter A seine Detection-Engine an Anbieter B lizenzieren, aber das Produkt von Anbieter A kann mehr oder weniger False-Positives aufweisen, als das Produkt von Anbieter B. Dies kann auf Faktoren wie unterschiedliche interne Einstellungen, Unterschiede bei anderen Komponenten und Diensten, wie zusätzliche oder unterschiedliche sekundäre Engines/Signaturen/Whitelist-Datenbanken/Cloud-Dienste/Qualitätssicherung, auf einer möglichen Verzögerung zwischen der Veröffentlichung der ursprünglichen Signaturen und der Verfügbarkeit der Signaturen für Produkte von Drittanbietern, zurückzuführen sein.

False-Positives (FPs) sind ein wichtiges Maß für die Qualität von AV. Darüber hinaus ist der Test nützlich und notwendig, um zu verhindern, dass Hersteller ihre Produkte so optimieren, dass sie in Tests gut abschneiden, indem sie den Kontext betrachten - aus diesem Grund werden Fehlalarme gemischt und auf die gleiche Weise getestet wie Tests mit Malware. Eine FP-Meldung von einem Kunden kann zu einem großen Aufwand an Technik und Support führen, um das Problem zu beheben. Manchmal kann dies sogar zu erheblichen Datenverlusten oder zur Nichtverfügbarkeit des Systems führen. Selbst "unbedeutende" FPs (oder FPs in älteren Anwendungen) verdienen Erwähnung und Aufmerksamkeit, da FPs wahrscheinlich das Ergebnis von prinzipiellen Regelerkennungen sind. Es ist schon vorgekommen, dass die FP auf einer unbedeutenden Datei war. Die FP-Möglichkeit ist wahrscheinlich immer noch im Produkt vorhanden und könnte möglicherweise erneut eine FP in einer wichtigeren Datei verursachen. Daher verdienen sie immer noch eine Erwähnung und eine Ahndung. Nachfolgend finden Sie einige Informationen zu den Fehlalarmen, die wir in unserem unabhängigen Set von sauberen Dateien beobachtet haben. Rote Einträge markieren Fehlalarme bei Dateien, die digital signiert wurden.

Die angezeigten Erkennungsnamen stammen größtenteils aus den Scan-Protokollen vor der Ausführung (sofern verfügbar). Wenn ein Threat bei/während/nach der Ausführung blockiert wurde (oder kein eindeutiger Erkennungsname zu sehen war), geben wir in der Spalte „Erkannt als“ als „Blocked“ an.

1.	ESET, Microsoft	1	sehr wenige FPs
2.	Avast, AVG, Kaspersky	2	wenige FPs
3.	TotalAV, Trend Micro	3
4.	Avira, McAfee, Total Defense	4
5.	G Data, Malwarebytes	8
6.	Bitdefender, VIPRE	9
7.	Norton	14	viele FPs
8.	K7	56	sehr viele FPs
9.	Panda	153	auffallend viele FPs

Details zu den aufgedeckten Fehlalarmen

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2021 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Oktober 2021)