False Alarm Test September 2019

Einführung

Dieser Bericht ist als Ergänzung im Malware Protection Test September 2019 zu finden und bietet eine Auflistung von Details zu den entdeckten Fehlalarmen.

Bei AV-Tests ist es wichtig, nicht nur die Erkennungsfähigkeit, sondern auch die Zuverlässigkeit zu messen. Ein Aspekt der Zuverlässigkeit ist die Fähigkeit, saubere Dateien als solche zu erkennen und keine Fehlalarme (False-Positives) zu produzieren. Kein Produkt ist vor False-Positives (FPs) gefeit, aber einige produzieren mehr als andere. False Alarm Tests messen, welche Programme in dieser Hinsicht am besten abschneiden, d.h. saubere Dateien trotz ihres Kontexts von bösartigen Dateien unterscheiden können. Da es keine vollständige Sammlung aller legitimen Dateien gibt, kann kein "ultimativer" Test auf FPs durchgeführt werden. Was getan werden kann und sinnvoll ist, ist die Erstellung und Verwendung einer Reihe von sauberen Dateien, die unabhängig voneinander gesammelt werden. Wenn bei Verwendung eines solchen Satzes ein Produkt z.B. 30 FPs aufweist und ein anderes nur 5, ist es wahrscheinlich, dass das erste Produkt anfälliger für FPs ist als das andere. Das bedeutet nicht, dass das Produkt mit 5 FPs insgesamt nicht mehr als 5 FPs hat, aber es ist die relative Anzahl, die wichtig ist.

Geprüfte Produkte

• Avast Free Antivirus 19.7
• AVG Free AntiVirus 19.7
• Avira Antivirus Pro 15.0
• Bitdefender Internet Security 24.0
• ESET Internet Security 12.2
• F-Secure SAFE 17.7
• K7 Total Security 15.1
• Kaspersky Internet Security 20.0
• McAfee Internet Security 22.5
• Microsoft Defender 4.18
• Panda Free Antivirus 18.07
• Symantec Norton Security 22.18
• Tencent PC Manager 12.3
• Total Defense Essential Anti-Virus 11.5
• Trend Micro Internet Security 15.0
• VIPRE Advanced Security 11.0

Testverfahren

Um dem Nutzer mehr Informationen über die Fehlalarme (False-Positives – FPs) zu geben, versuchen wir, die Häufigkeit der Fehlalarme zu bewerten. Dateien, die digital signiert wurden, werden als bedeutender eingestuft. Daher wird eine Datei mit der niedrigsten Prävalenz stufe (Level 1) und einer gültigen digitalen Signatur auf die nächste Stufe hochgestuft (z. B. Prävalenz „Level 2“). Erloschene Dateien, die laut mehreren Telemetriequellen keine Prävalenz aufwiesen, wurden den Anbietern zur Verfügung gestellt, um sie zu korrigieren, wurden aber auch aus dem Set entfernt und nicht als Fehlalarm gezählt.

Die Prävalenz wird in fünf Kategorien angegeben und mit den folgenden Farben gekennzeichnet: 

Level		Geschätzte Anzahl der betroffenen User	Kommentare
1		Wahrscheinlich weniger als Hundert User	Einzelfälle, alte oder selten genutzte Dateien, sehr geringe Prävalenz
2		Wahrscheinlich mehrere Hundert User	Die initiale Verbreitung solcher Dateien war wahrscheinlich viel höher, aber die derzeitige Nutzung auf aktuellen Systemen ist geringer (trotz ihres Vorhandenseins), weshalb auch bekannte Software nur noch eine Verbreitung von einigen Hundert oder Tausend Nutzern haben bzw. betreffen.
3		Wahrscheinlich mehrere Tausend User
4		Wahrscheinlich mehrere Zehntausend (oder mehr) User
5		Wahrscheinlich mehrere Hunderttausend oder Millionen User	Solche Fälle werden bei einem False-Alarm Test, der zu einem bestimmten Zeitpunkt durchgeführt wird, wahrscheinlich sehr viel seltener auftreten, da solche Dateien in der Regel entweder auf einer Whitelist stehen oder sehr schnell bemerkt und behoben werden würden.

Die meisten Fehlalarme werden wahrscheinlich in die ersten beiden Stufen fallen.

Unserer Meinung nach sollten Antivirus-Produkte keine Fehlalarme auslösen und das bei allen Arten von sauberen Dateien, unabhängig davon, wie viele User derzeit davon betroffen sind. Auch wenn einige AV-Anbieter das Risiko von Fehlalarmen herunterspielen und das Risiko von Malware hochspielen, werden wir Produkte nicht auf der Grundlage der angeblichen Häufigkeit von Fehlalarmen bewerten. Wir lassen bereits eine bestimmte Anzahl von Fehlalarmen (derzeit 10) innerhalb unseres sauberen Satzes zu, bevor wir anfangen, Punkte abzuziehen. Unserer Meinung nach ist es bei Produkten, die eine höhere Anzahl von Fehlalarmen produzieren, auch wahrscheinlicher, dass sie bei verbreiteten Dateien (oder in anderen Sets von sauberen Dateien) Fehlalarme produzieren. Die Prävalenzdaten, die wir für saubere Dateien angeben, dienen nur zu Informationszwecken. Die angegebene Prävalenz kann innerhalb des Berichts abweichen, je nachdem, bei welcher Datei/Version der Fehlalarm auftrat und/oder wie viele Dateien derselben Art betroffen waren.

Testfälle

Alle aufgeführten Fehlalarme traten zum Zeitpunkt der Prüfung auf. Fehlalarme, die durch unverschlüsselte Datenblöcke in Antivirus-bezogenen Dateien verursacht werden, wurden nicht gezählt. Wenn ein Produkt mehrere Fehlalarme hatte, die zur gleichen Anwendung gehören, wird es hier nur als ein Fehlalarm gezählt. Cracks, Keygens oder andere höchst fragwürdige Tools, einschließlich FPs, die in erster Linie von Anbietern verbreitet werden (die mehrere Tausend sein können) oder von anderen nicht unabhängigen Quellen, werden hier nicht als False-Positives gezählt.

Test-Ergebnisse

Die Anzahl der False-Positives, die von zwei verschiedenen Programmen erzeugt werden, die dieselbe Engine („principal detection component“) verwenden, kann unterschiedlich sein. So kann etwa Anbieter A seine Detection-Engine an Anbieter B lizenzieren, aber das Produkt von Anbieter A kann mehr oder weniger False-Positives aufweisen, als das Produkt von Anbieter B. Dies kann auf Faktoren wie unterschiedliche interne Einstellungen, Unterschiede bei anderen Komponenten und Diensten, wie zusätzliche oder unterschiedliche sekundäre Engines/Signaturen/Whitelist-Datenbanken/Cloud-Dienste/Qualitätssicherung, auf einer möglichen Verzögerung zwischen der Veröffentlichung der ursprünglichen Signaturen und der Verfügbarkeit der Signaturen für Produkte von Drittanbietern, zurückzuführen sein.

False Positives (FPs) sind ein wichtiges Maß für die Qualität von AV. Darüber hinaus ist der Test nützlich und notwendig, um zu verhindern, dass Hersteller ihre Produkte so optimieren, dass sie in Tests gut abschneiden, indem sie den Kontext betrachten - aus diesem Grund werden Fehlalarme gemischt und auf die gleiche Weise getestet wie Tests mit Malware. Eine FP-Meldung von einem Kunden kann zu einem großen Aufwand an Technik und Support führen, um das Problem zu beheben. Manchmal kann dies sogar zu erheblichen Datenverlusten oder zur Nichtverfügbarkeit des Systems führen. Selbst "unbedeutende" FPs (oder FPs bei älteren Anwendungen) verdienen Erwähnung und Aufmerksamkeit, da FPs wahrscheinlich das Ergebnis von prinzipiellen Regelerkennungen sind. Es ist einfach passiert, dass die FP eine unbedeutende Datei betraf. Die FP-Möglichkeit ist wahrscheinlich immer noch im Produkt vorhanden und könnte möglicherweise in einer wichtigeren Datei erneut eine FP verursachen. Daher verdienen sie immer noch eine Erwähnung und eine Bestrafung. Nachfolgend finden Sie einige Informationen zu den Fehlalarmen, die wir in unserem unabhängigen Satz von sauberen Dateien beobachtet haben. Rote Einträge markieren Fehlalarme bei Dateien, die digital signiert wurden.

1.	ESET, Kaspersky	0	keine/sehr wenige FPs
2.	Avira	1
3.	McAfee	2	wenige FPs
4.	Total Defense	3
5.	F-Secure	4
6.	Avast, AVG, Bitdefender, Symantec	7
7.	Microsoft	13	viele FPs
8.	Trend Micro	14
9.	Panda	21
10.	Tencent	27
11.	K7	30
12.	VIPRE	40

Details zu den aufgedeckten Fehlalarmen

ESET und Kaspersky hatte keine Fehlalarme bei den verwendeten sauberen Dateien.

		1 Fehlalarm
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Dimio package	BDS/Backdoor.Gen

 

		2 Falsche Alarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Elsa package	Suspect!3b4528c4ad1d
SUPER package	Suspect!cc514bba47e1

 

		3 Fehlalarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Ebdac package	Gen:Variant.Ser.Razy.7489
Elsa package	Gen:Variant.Ser.Symmi.267
Feratel package	Gen:Variant.Johnnie.175731

 

		4 Fehlalarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Dallas package	Suspicious:W32/Malware/DeepGuard.pg
Dimio package	Suspicious:W32/Malware/DeepGuard.pg
QuickTime package	Suspicious:W32/Malware/DeepGuard.p
Tiscali package	Suspicious:W32/Malware/DeepGuard.p

 

		7 Fehlalarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Ahnenforscher package	This file might be dangerous
Dimio package	Win32:MdeClass
GreenBrowser package	This file might be dangerous
GTA package	FileRepMalware
IntraPact package	This file might be dangerous
Norton package	This file might be dangerous
Sony package	This file might be dangerous

 

		7 Fehlalarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Ahnenforscher package	This file might be dangerous
Dimio package	Win32:MdeClass
GreenBrowser package	This file might be dangerous
GTA package	FileRepMalware
IntraPact package	This file might be dangerous
Norton package	This file might be dangerous
Sony package	This file might be dangerous

 

		7 Fehlalarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Bitdefender package	Malicious behaviour
Feratel package	Gen:Variant.Johnnie.175731
Registry package	Malicious application
Seulas package	Malicious application
SpeedCommander package	Malicious application
Tiscali package	Malicious application
Xmplay package	Gen:Suspicious.Cloud.8.qm0@ai@zmbgi

 

		7 Fehlalarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
CleanDisk package	Heur.AdvML.C
IntraPact package	Packed.Generic.535
LoginControl package	SONAR.Heuristik.170
Neko package	Suspicious.Epi.3
PaperOffice package	Heur.AdvML.B
ProcessExplorer package	Trojan.Gen.9
Telehandler package	Heur.AdvML.B

 

		13 Falsche Alarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
ArchiCrypt package	Blockiert
Baeume package	Blockiert
CheckSig package	Blockiert
Dimio package	Blockiert
DVB package	Blockiert
F1Challenge package	Blockiert
FreshView package	Blockiert
HTTPdown package	Blockiert
IntraPact package	Blockiert
Norton package	Blockiert
QuickTime package	Blockiert
Tio package	Blockiert
Tiscali package	Blockiert

 

		14 Falsche Alarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Dallas package	Suspicious File Blocked
Dimio package	Suspicious File Blocked
GreenBrowser package	Suspicious File Blocked
HP package	Suspicious File Blocked
HTTPdown package	Suspicious File Blocked
Miranda package	Suspicious File Blocked
MP3Toys package	Suspicious File Blocked
MyUninstaller package	Suspicious File Blocked
Prog package	Suspicious File Blocked
RFA package	Suspicious File Blocked
ShareDirect package	Suspicious File Blocked
SipGate package	Suspicious File Blocked
Tiscali package	Suspicious File Blocked
VCL package	Suspicious File Blocked

 

		21 Falsche Alarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
ACER package	Suspicious
AsianInsta package	Trj/Genetic.gem
CheckSig package	Trj/Kl.A
CineMac package	Suspicious
Dallas package	Suspicious
Elsa package	Suspicious
FileSplitter package	Suspicious
GSTech package	Suspicious
HP package	Suspicious
IntraPact package	Suspicious
MP3Toys package	Suspicious
Phoenix package	Suspicious
PicEdit package	Suspicious
Quicktime package	Suspicious
RFA package	Suspicious
RoteAugen package	Suspicious
ShareDirect package	Suspicious
SipGate package	Suspicious
Tiscali package	Trj/Kl.A
XiceCube package	Suspicious
ZMV package	Suspicious

 

		27 Falsche Alarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Baywatch package	Dangerous activity detected
CDDVDburning package	Dangerous activity detected
Cerberus package	Dangerous activity detected
CineMac package	Dangerous activity detected
Dimio package	Dangerous activity detected
Ebdac package	Gen:Variant.Ser.Razy.7489
Elsa package	Dangerous activity detected
Emco package	Dangerous activity detected
Feratel package	Dangerous activity detected
HTTPdown package	Dangerous activity detected
HyperDesktop package	Dangerous activity detected
InstantPower package	Dangerous activity detected
Libro package	Dangerous activity detected
MailGuard package	Dangerous activity detected
MeldeMax package	Dangerous activity detected
Mueller package	Dangerous activity detected
MultiLauncher package	Dangerous activity detected
Paketmanager package	Dangerous activity detected
PDFme package	Dangerous activity detected
Picasa package	Dangerous activity detected
QuickTime package	Dangerous activity detected
Recovery package	Dangerous activity detected
SpeedCommander package	Dangerous activity detected
SteigEin package	Dangerous activity detected
Sumatra package	Dangerous activity detected
Tiscali package	Dangerous activity detected
UOM package	Dangerous activity detected

 

		29 Falsche Alarme
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
Acer package	Riskware ( 0040eff71 )
Acrobat package	Riskware ( 0040eff71 )
ArcSoft package	Virus ( 000000001 )
ASUS package	Trojan ( 0047648f1 )
ATI package	Riskware ( 0040eff71 )
BittyProcess package	Riskware ( 0040eff71 )
Cheat package	Riskware ( 0040eff71 )
ColorPicker package	Virus ( 000000001 )
DamageCleanup package	Riskware ( 0040eff71 )
GRCD package	Riskware ( 0040eff71 )
IbPro package	Riskware ( 0040eff71 )
Lernassistent package	Virus ( 000000001 )
Lexmark package	Riskware ( 0040eff71 )
LG package	Riskware ( 0040eff71 )
Logitech package	Virus ( 000000001 )
MSOffice package	Riskware ( 0040eff71 )
Nokia package	Riskware ( 0040eff71 )
Opera package	Riskware ( 0040eff71 )
Phoenix package	Virus ( 0f1001091 )
PicEdit package	Virus ( 0f1001091 )
ShareDirect package	Riskware ( 0040eff71 )
Skype package	Riskware ( 0040eff71 )
SteigEin package	Trojaner ( 0054315c1 )
Sumatra package	Riskware ( 0040eff71 )
TCPview package	Riskware ( 0040eff71 )
Upack package	Trojaner ( 003b1b581 )
Wavosaur package	Virus ( 000000001 )
WinAMP package	Riskware ( 0040eff71 )
WLANinfo package	Riskware ( 0040eff71 )

 

		40 Falschalarme*
Fehlalarm in einigen Teilen von	Erkannt als	Voraussichtliche Prävalenz
ACER package	Blockiert
ADAC package	Blockiert
Anti-Trojan package	Blockiert
Avago package	Blockiert
AZFinder package	Blockiert
Baywatch package	Blockiert
Bitdefender package	Blockiert
BlueOffice package	Blockiert
CineMac package	Blockiert
ColorPicker package	Blockiert
Datron package	Blockiert
Deskline package	Blockiert
Dimio package	Blockiert
eMerge package	Blockiert
Feratel package	Gen:Variant.Johnnie.175731
GameCollection package	Blockiert
Geburtstagsalarm package	Blockiert
HTTPdown package	Gen:Variant.Fugrafe.5590
InstantPower package	Blockiert
Libro package	Blockiert
MailGuard package	Blockiert
MP3Toys package	Blockiert
MyUninstaller package	Blockiert
Norton package	Blockiert
ORF package	Blockiert
Paketmanager package	Blockiert
PCW package	Blockiert
Recovery package	Blockiert
Rikster package	Blockiert
SaverInstaller package	Blockiert
SeekFreak package	Blockiert
Seulas package	Blockiert
SipGate package	Blockiert
SpamAI package	Blockiert
Telehandler package	Blockiert
Tiscali package	Malware (General)
Ultimate package	Blockiert
Utility package	Blockiert
Wistron package	Blockiert
Xmplay package	Blockiert

*VIPRE hat uns mitgeteilt, dass ihr FP-Ergebnis in diesem Test möglicherweise auf einen nicht identifizierten Fehler zurückzuführen ist.

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2019 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(Oktober 2019)