False Alarm Test March 2020
Anhang zum Malware Protection Test März 2020
Datum der Veröffentlichung | 2020-04-20 |
Datum der Überarbeitung | 2020-04-15 |
Prüfzeitraum | März 2020 |
Online mit Cloud-Konnektivität | |
Update erlaubt | |
False-Alarm Test inklusive | |
Plattform/OS | Microsoft Windows |
Einleitung
Dieser Bericht ist als Ergänzung im Malware Protection Test März 2020 zu finden und bietet eine Auflistung von Details zu den entdeckten Fehlalarmen.
Bei AV-Tests ist es wichtig, nicht nur die Erkennungsfähigkeit, sondern auch die Zuverlässigkeit zu messen. Ein Aspekt der Zuverlässigkeit ist die Fähigkeit, saubere Dateien als solche zu erkennen und keine Fehlalarme (False-Positives) zu erzeugen. Kein Produkt ist vor False-Positives (FPs) gefeit, aber einige produzieren mehr als andere. False Alarm Tests messen, welche Programme in dieser Hinsicht am besten abschneiden, d. h. saubere Dateien trotz ihres Kontexts von bösartigen Dateien unterscheiden können. Da es keine vollständige Sammlung aller legitimen Dateien gibt, kann kein "ultimativer" Test auf FPs durchgeführt werden. Was getan werden kann und sinnvoll ist, ist die Erstellung und Verwendung einem Set von sauberen Dateien, die unabhängig gesammelt werden. Wenn bei der Verwendung von solch einem Set, ein Produkt hat z.B. 20 FPs und ein anderes nur 3, ist es wahrscheinlich, dass das erste Produkt anfälliger für FPs ist als das andere. Es bedeutet nicht, dass das Produkt mit 3 FPs insgesamt nicht mehr als 3 FPs hat, aber es ist die relative Zahl, die wichtig ist.
Geprüfte Produkte
Testverfahren
Um dem Nutzer mehr Informationen über die Fehlalarme zu geben, versuchen wir, die Häufigkeit der Fehlalarme zu bewerten. Dateien, die digital signiert wurden, werden als wichtiger eingestuft. Daher wird eine Datei mit der niedrigsten Prävalenzstufe (Stufe 1) und einer gültigen digitalen Signatur auf die nächste Stufe hochgestuft (z.B. Prävalenz "Stufe 2"). Ausgelöschte Dateien, die laut mehreren Telemetriequellen eine Prävalenz von Null hatten, wurden den Anbietern zur Verfügung gestellt, um sie zu korrigieren und wurden aber auch aus dem Set entfernt und nicht als Fehlalarm gewertet.
Die Prävalenz wird in fünf Kategorien angegeben und mit den folgenden Farben gekennzeichnet:
Level | Geschätzte Anzahl der betroffenen User | Kommentare | |
---|---|---|---|
1 | Wahrscheinlich weniger als Hundert User | Einzelfälle, alte oder selten genutzte Dateien, sehr geringe Prävalenz | |
2 | Wahrscheinlich mehrere Hundert User | Die initiale Verbreitung solcher Dateien war wahrscheinlich viel höher, aber die derzeitige Nutzung auf aktuellen Systemen ist geringer (trotz ihres Vorhandenseins), weshalb auch bekannte Software nur noch eine Verbreitung von einigen Hundert oder Tausend Nutzern haben bzw. betreffen. |
|
3 | Wahrscheinlich mehrere Tausend User | ||
4 | Wahrscheinlich mehrere Zehntausend (oder mehr) User | ||
5 | Wahrscheinlich mehrere Hunderttausend oder Millionen User | Solche Fälle werden bei einem False-Alarm Test, der zu einem bestimmten Zeitpunkt durchgeführt wird, wahrscheinlich sehr viel seltener auftreten, da solche Dateien in der Regel entweder auf einer Whitelist stehen oder sehr schnell bemerkt und behoben werden würden. |
Die meisten Fehlalarme werden wahrscheinlich in die ersten beiden Stufen fallen. Unserer Meinung nach sollten Antivirus-Produkte keine Fehlalarme auslösen und das bei allen Arten von sauberen Dateien, unabhängig davon, wie viele User derzeit davon betroffen sind. Auch wenn einige AV-Anbieter das Risiko von Fehlalarmen herunterspielen und das Risiko von Malware hochspielen, werden wir Produkte nicht auf der Grundlage der angeblichen Häufigkeit von Fehlalarmen bewerten. Wir lassen bereits eine bestimmte Anzahl von Fehlalarmen (derzeit 10) innerhalb unseres sauberen Satzes zu, bevor wir anfangen, Punkte abzuziehen. Unserer Meinung nach ist es bei Produkten, die eine höhere Anzahl von Fehlalarmen produzieren, auch wahrscheinlicher, dass sie bei verbreiteten Dateien (oder in anderen Sets von sauberen Dateien) Fehlalarme produzieren. Die Prävalenzdaten, die wir für saubere Dateien angeben, dienen nur zu Informationszwecken. Die angegebene Prävalenz kann innerhalb des Berichts abweichen, je nachdem, bei welcher Datei/Version der Fehlalarm auftrat und/oder wie viele Dateien derselben Art betroffen waren.
Testfälle
Alle aufgeführten Fehlalarme traten zum Zeitpunkt der Prüfung auf. Fehlarme, die durch unverschlüsselte Datenblöcke in Anti-Virus-bezogen Dateien wurden nicht gezählt. Gab es bei einem Produkt mehrere Fehlalarme, die zu derselben Anwendung gehörten, so wird es hier nur als ein Fehlalarm gezählt. Cracks, Keygens oder andere höchst fragwürdige Tools, einschließlich FPs, die in erster Linie von Anbietern (die mehrere Tausend sein können) oder anderen nicht unabhängigen Quellen verteilt/freigegeben werden, werden hier nicht als False-Positives gezählt.
Test-Ergebnisse
Die Anzahl der False-Positives, die von zwei verschiedenen Programmen erzeugt werden, die dieselbe Engine („principal detection component“) verwenden, kann unterschiedlich sein. So kann etwa Anbieter A seine Detection-Engine an Anbieter B lizenzieren, aber das Produkt von Anbieter A kann mehr oder weniger False-Positives aufweisen, als das Produkt von Anbieter B. Dies kann auf Faktoren wie unterschiedliche interne Einstellungen, Unterschiede bei anderen Komponenten und Diensten, wie zusätzliche oder unterschiedliche sekundäre Engines/Signaturen/Whitelist-Datenbanken/Cloud-Dienste/Qualitätssicherung, auf einer möglichen Verzögerung zwischen der Veröffentlichung der ursprünglichen Signaturen und der Verfügbarkeit der Signaturen für Produkte von Drittanbietern, zurückzuführen sein.
False Positives (FPs) sind ein wichtiges Maß für die AV-Qualität. Darüber hinaus ist der Test nützlich und notwendig, um zu verhindern, dass Hersteller ihre Produkte so optimieren, dass sie in Tests gut abschneiden, indem sie den Kontext berücksichtigen. Aus diesem Grund werden Fehlalarme gemischt und auf dieselbe Weise getestet wie Tests mit Malware. Eine einzige FP-Meldung eines Kunden kann einen hohen technischen und Support-Aufwand zur Lösung des Problems nach sich ziehen. Manchmal kann dies sogar zu erheblichen Datenverlusten oder zur Nichtverfügbarkeit des Systems führen. Selbst "unbedeutende" FPs (oder FPs in älteren Anwendungen) verdienen Erwähnung und Aufmerksamkeit, da FPs wahrscheinlich das Ergebnis von prinzipiellen Regelerkennungen sind. Das FP befand sich dabei zufällig in einer unbedeutenden Datei. Die FP-Möglichkeit ist wahrscheinlich immer noch im Produkt vorhanden und könnte möglicherweise erneut eine FP in einer wichtigeren Datei verursachen. Daher verdienen sie immer noch eine Erwähnung und eine Ahndung.
Nachfolgend finden Sie einige Informationen zu den Fehlalarmen, die wir in unserer unabhängigen Gruppe von sauberen Dateien beobachtet haben. Rote Einträge markieren Fehlalarme bei Dateien, die digital signiert wurden.
1. | Trend Micro | 1 | keine/sehr wenige FPs | ||
2. | ESET | 2 | wenige FPs | ||
3. | G Data | 3 | |||
4. | Total Defense | 6 | |||
5. | Bitdefender | 7 | |||
6. | VIPRE | 8 | |||
7. | Microsoft | 9 | |||
8. | Kaspersky | 10 | |||
9. | Avast, AVG | 15 | viele FPs | ||
10. | Avira, F-Secure | 24 | |||
11. | McAfee, Norton, TotalAV | 25 | |||
12. | K7 | 47 | auffallend viele FPs | ||
13. | Panda | 48 |
Details zu den aufgedeckten Fehlalarmen
1 Falsche Alarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
Emsisoft package | TROJ_GEN.R03BC0WGK19 |
2 Falsche Alarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
MessengerHistory package | ML/Augur-Trojaner | |
Schnapper package | ML/Augur-Trojaner |
3 Fehlalarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
AltTab package | Gen:Heur.Dreidel.gm0@w0TcLHQi | |
HTTPdown package | Trojan.GenericKD.41780427 | |
STOP package | Trojan.GenericKD.41630944 |
10 Falsche Alarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
ChromeBackup package | UDS:Trojan-Spy.MSIL.KeyLogger | |
eMedia package | HEUR:Trojan.Win32.Generic | |
Encarta package | HEUR:Trojan.Win32.Agent.gen | |
EsReg package | HEUR:Trojan.Win32.Generic | |
PowerTools package | UDS:Trojan.Win32.Agent.gen | |
PrettyMay package | UDS:DangerousObject.Multi.Generic | |
Quiz package | HEUR:Trojan.Win32.Generic | |
Steganos package | Trojan-Spy.Win32.Keylogger.bfib | |
Vancouver package | File deleted | |
VistaCodecs package | UDS:Trojan-Ransom.Win32.Blocker |
15 Falsche Alarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
AvancePaint package | Win32:Malware-gen | |
CloneMaster package | Win32:Evo-gen [Susp] | |
DiskRescue package | Win32:Malware-gen | |
EFProcess package | FileRepMalware | |
ExtractNow package | Win32:Malware-gen | |
Fujitsu package | FileRepMalware | |
Gunrox package | Win32:Malware-gen | |
Image package | FileRepMetagen [Malware] | |
Lame package | Win32:Malware-gen | |
MPlayer package | FileRepMalware | |
SerwerCharger package | FileRepMetagen [Malware] | |
TrojanHunter package | Win32:Malware-gen | |
Vancouver package | FileRepMalware | |
VIPRE package | Win32:Malware-gen | |
VirtualDub package | Win32:Trojan-gen |
25 Falsche Alarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
AutoMKV package | Trojan.FakeAV | |
AvancePaint package | Trojan.Gen | |
Babylon package | Heur.AdvML.C | |
Brothers package | Heur.AdvML.C | |
CarJacker package | Suspicious.Epi.3 | |
CleanGP package | Suspicious.Epi.3 | |
Controler package | Suspicious.Epi.3 | |
Dimio package | Heur.AdvML.C | |
DirectX package | Trojan.Gen.X | |
Dooble package | Suspicious.Epi.3 | |
Dowcip package | Suspicious.Epi.3 | |
Earth package | Suspicious.Epi.3 | |
Easo package | Trojan.Gen | |
FastHide package | Trojan.Gen.2 | |
Hardcopy package | Trojan.Gen.2 | |
Juarez package | Suspicious.Epi.3 | |
Konwerter package | Trojan.ADH | |
Lame package | Suspicious.Epi.3 | |
ProcessMonitor package | Heur.AdvML.C | |
RMCA package | Heur.AdvML.C | |
SysPad package | Trojan.ADH.2 | |
TeamViewer package | Trojan Horse | |
Wesnoth package | Suspicious.Epi.3 | |
XiceCube package | Suspicious.Epi.3 | |
Xion package | Suspicious.Epi.3 |
25 Falsche Alarme | ||
Fehlalarm in einigen Teilen von | Erkannt als | Voraussichtliche Prävalenz |
Access package | Threat Prevented (Url) | |
AvancePaint package | TR/Gendal.2110729 | |
BMC package | HEUR/APC | |
Dungeon package | TR/Crypt.XPACK.Gen.544 | |
EasyPing package | TR/Drop.Unruy.B | |
eBooks package | HEUR/APC | |
Enter package | TR/Rogue.11580780 | |
FastNet package | HEUR/APC | |
GhostX package | TR/Agent.399872.12 | |
JFX package | HEUR/APC | |
Konwerter package | TR/Gendal.162304.D | |
Lame package | HEUR/APC | |
Moorhunt package | TR/Dropper.MSIL.43342 | |
NetworkFile package | HEUR/APC | |
Odkuzacz package | HEUR/APC | |
Outlook package | BDS/Backdoor.Gen7 | |
ProcessManager package | TR/PSW.OnlineGames.xmim.1 | |
Savage package | TR/Dropper.Gen8 | |
ServiceCenter package | HEUR/APC | |
StuffIt package | HEUR/AGEN.1007053 | |
TheBards package | TR/Crypt.ZPACK.Gen | |
Tribes package | TR/Crypt.ZPACK.imevs | |
VideoTeka package | HEUR/APC | |
Wesnoth package | TR/Crypt.PEPM.Gen | |
WinGuard package | DR/Dldr.VB.ilr |
Copyright und Haftungsausschluss
Diese Veröffentlichung ist Copyright © 2020 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.
Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.
AV-Comparatives
(April 2020)