Spotlight auf die Sicherheit: Das Problem der Fehlalarme
False Positives (FPs, auch als Fehlalarme bekannt) sind harmlose und legitime Programme, die von einem Antivirenprogramm fälschlicherweise als bösartig identifiziert werden. Ein False Positive kann sehr ernste Folgen haben. In einigen Fällen ist es nicht möglich, ein legitimes Programm auszuführen, wenn es von der Sicherheitssoftware blockiert wird.
Das ist nicht nur frustrierend für den Benutzer, sondern auch schädlich für den Entwickler des blockierten Programms, denn niemand wird einem Programm vertrauen, das von der Antivirensoftware sofort als bösartig oder unbrauchbar eingestuft wird. Es kann auch vorkommen, dass der Benutzer Zeit mit dem Versuch vergeudet, seinen Computer zu säubern, obwohl keine tatsächliche Infektion vorliegt. Dies kann ein großes Problem. Im schlimmsten Fall kann ein Computer unbrauchbar gemacht werden, wenn die False-Positive ist eine Systemdatei, die für die ordnungsgemäße Funktion des Betriebssystems erforderlich ist. Dies ist glücklicherweise recht selten, kommt aber gelegentlich vor.
Im April 2010 veröffentlichte ein großer AV-Anbieter eine Datei mit Malware-Definitionen, die dazu führte, dass die Windows-Systemdatei svchost.exe in Windows XP SP3 fälschlicherweise wie folgt definiert wurde bösartig. Die betroffenen Benutzer stellten fest, dass ihre Computer in einen endlosen Neustartzyklus übergingen. Der Hersteller reagierte zwar schnell und tauschte das verwanzt Definitionsdatei hat der Fall gut gezeigt, wie problematisch ein falsches Positiv sein kann. Andere Hersteller haben ähnliche Probleme gehabt zu. Es hat ähnliche Fälle gegeben, in denen ein falsches positives Ergebnis zur Entfernung eines System Datei und renderte die System und andere, bei denen ein bestimmtes Programm oder eine Funktion, wie z. B. der Google Chrome-Browser oder Pegasus Mail, wurde gelöscht. In einem Fall erkannte ein Antivirenprogramm sogar seine eigene Aktualisierungsfunktion als bösartig ein, so dass sie nicht mehr aktualisiert werden kann.
Falschmeldungen entstehen durch das ständige Katz-und-Maus-Spiel zwischen Antivirus Hersteller und Malware-Autoren, die ständig versuchen, dem anderen einen Schritt voraus zu sein. Ursprünglich, vor etwa 25 Jahren, stützten sich Antivirenprogramme auf spezifische Virendefinitionen, um bekannte Schadprogramme zu identifizieren. Dies bedeutete, dass es nur wenige Fehlalarme gab, da die Schadprogramme klar definiert waren. Virenautoren begannen jedoch, neue Methoden zu entwickeln, um diese einfache Schutztechnologie zu umgehen. Polymorphe Viren tarnten sich, indem sie einen Teil des Codes änderten - so konnten sie der Erkennung durch einfache signaturbasierte Antimalware-Engines entgehen, ohne dass die Funktionalität beeinträchtigt wurde. Die Hersteller von Antivirenprogrammen reagierten darauf, indem sie generische Algorithmen zur Erkennung von Malware einsetzten, die mehrere Bedrohungen anhand einer einzigen Definition von bösartigem Code identifizieren. Dadurch werden die veränderten Teile eines polymorphen Virus effektiv ignoriert, aber der gemeinsame Bedrohungscode wird erkannt. In dem Maße, in dem Malware-Autoren Malware entwickelten, die die vorhandenen allgemeinen Definitionen umging, verbesserten die AV-Hersteller ihre Heuristiken, um bisher unbekannte Viren anhand ihrer Ähnlichkeit mit bekannter Malware zu identifizieren. Dies wurde bereits vor vielen Jahren durch künstliche Intelligenz (AI) und maschinelles Lernen (ML) unterstützt. Anschließend wurden weitere Methoden zur Abwehr neuer Malware entwickelt, um mit den Cyberkriminellen Schritt halten zu können. Dazu gehörten neue Technologien wie die Verhaltenserkennung, die bei der Ausführung einer Programmdatei potenziell bösartiges Verhalten erkennt und unterbindet, die Datei-Reputation, die z. B. prüft, ob eine Datei auf anderen Systemen heruntergeladen bzw. installiert wurde und ob es Berichte darüber gibt, dass sie bösartig ist, und URL-Blocker, die das Herunterladen von Dateien von bekannten Malware-Seiten verhindern.
Leider sind viele der verschiedenen Methoden, die zur Erkennung unbekannter Malware entwickelt wurden, nicht perfekt und können zu falsch positiven Ergebnissen führen. So können sich beispielsweise viele legitime Programme auf eine Weise in das Betriebssystem integrieren, die Malware ähnelt. Verschlüsselungsprogramme und Funktionen zur Systemwiederherstellung laufen beispielsweise Gefahr, von übereifrigen Verhaltensblockern als Malware eingestuft zu werden. AV-Produkte, die alles blockieren, was sie noch nie (oder nur selten) gesehen haben, oder alles, was nicht auf ihrer Whitelist steht, können beim Blockieren von Malware effektiv sein, allerdings auf Kosten hoher FP-Raten und der daraus resultierenden Beeinträchtigung der Benutzerfreundlichkeit.
Da es für AV-Programme relativ einfach ist, hohe Malware-Erkennungsraten zu erreichen, indem sie alle unbekannten Programme blockieren, ist eine effektive wird das Testen von Antivirensoftware muss einen Test auf falsch-positive Ergebnisse beinhalten, um sicherzustellen, dass die Benutzer vor bösartigen Programmen geschützt werden und nicht alle ungewöhnlichen Programme blockiert werden. Grundsatz 4 der Grundprinzipien des Testens besagt, dass "die Wirksamkeit und Leistung von Anti-Malware-Produkten in ausgewogener Weise gemessen werden muss". Es wird ausdrücklich darauf hingewiesen, dass ein Antivirenprogramm, das einen hohen Prozentsatz an Malware identifiziert, aber auch eine hohe Anzahl von Fehlalarmen aufweist, nicht unbedingt besser ist als eines, das weniger Viren identifiziert, aber auch weniger Fehlalarme aufweist. Damit wird den oben beschriebenen Problemen Rechnung getragen, die ein falsches Positiv verursachen kann.
Seit August 2008 hat AV-Comparatives eine False-Positives Test in seinen öffentlichen Tests, um sicherzustellen, dass AV-Programme keine hohe Malware-Schutzrate auf Kosten einer großen Anzahl von FPs erreichen. In unseren detaillierten FP-Berichten können Benutzer sehen, welche Anwendungen zum Zeitpunkt des Tests FPs produzierten, welcher Erkennungsname angetroffen wurde und wie verbreitet die beobachteten FPs sind.
Nachfolgend finden Sie einige Einblicke (Stand Juni 2018) in das große Clean-Files-Set, das wir zur Überprüfung auf Fehlalarme im Rahmen des Consumer Malware Protection Test verwenden. Bei der Erstellung unserer Clean-Sets für Fehlalarmtests berücksichtigen wir mehrere Faktoren, und unsere Entscheidungen und Bewertungen basieren oft auch auf internen Forschungen/Feldstudien, die wir in Zusammenarbeit mit der Universität Innsbruck durchführen. Unser Clean Set wird ständig aktualisiert, d.h. es werden neue Dateien hinzugefügt und nicht mehr vorhandene Dateien entfernt. Eine Quelle für saubere Dateien sind die Systeme von realen, alltäglichen Benutzern, die sich bereit erklärt haben, ihre Daten mit uns zu teilen (wir arbeiten eng mit einigen Computerwerkstätten zusammen). Weitere Quellen sind gängige Programmdistributionen, DVDs aus Computerzeitschriften und Programme, die auf Software-Download-Seiten zu finden sind.
Die blauen Zahlen im nachstehenden Diagramm zeigen die Verteilung der Dateien in unserem Clean Set nach Alter. Die orangefarbenen Zahlen zeigen die Verteilung der Dateien in denselben Alterskategorien auf durchschnittlichen Benutzersystemen im Vergleich zur Verteilung im Clean-Set. Die Benutzer sind vielleicht überrascht, dass neu installierte und vollständig aktualisierte Systeme viele Dateien enthalten, die mehrere Jahre alt sind. Viele häufig verwendete Programme verwenden Dateien aus früheren Versionen wieder, die ursprünglich vor einigen Jahren entwickelt wurden. Die unten stehende Verteilung zeigt, dass unser Clean-Files-Set im Allgemeinen mehr neuere Dateien enthält als die Verteilung im Feld.
Die blauen Zahlen im zweiten Diagramm zeigen die Prävalenz der Dateien, die in unserem sauberen Satz verwendet werden. Die orangefarbenen Zahlen zeigen die Prävalenz derselben Dateien bei einer signifikanten Stichprobe von realen Nutzern im Vergleich zum Clean-Files-Set. Die Verteilung zeigt, dass unser Clean Set im Allgemeinen etwas häufiger verwendet wird als die reale Verteilung in der Praxis.
Außerdem haben über 1/3 der PE-Dateien (ausführbare Programme) im Testsatz eine gültige digitale Signatur.
FPs werden in der Regel in der Kategorie "sehr geringe" Prävalenz (weniger als 100 aktuelle Benutzer) angetroffen. Natürlich gibt es einige AV-Anbieter, die möchten, dass wir einen sauberen Satz verwenden, der ausschließlich aus sehr verbreiteten, sehr bekannten, digital signierten Dateien besteht, die sie bereits auf ihren Whitelists haben und die keine Fehlalarme auslösen.
App-Entwickler und Nutzer, die neuere Software gerne in Betaphasen oder direkt nach der Veröffentlichung ausprobieren, wissen sehr gut, dass AV-Programme bei solchen Apps Fehlalarme auslösen können, was die Nutzung frustrierend macht. Es besteht auch die Gefahr, dass Benutzer, wenn sie viele Fehlalarme sehen, irgendwann anfangen, die Warnungen ihres AV-Programms zu ignorieren und daher einen echten Alarm nicht mehr ernst nehmen.
Dateireputationssysteme sind nützlich für den Schutz von Computersystemen vor Schadsoftware, können aber auch zu Fehlalarmen führen. Wenn eine solche Schutzfunktion jede Datei blockiert oder vor ihr warnt, die der Anbieter noch nicht gesehen oder untersucht und auf eine Whitelist gesetzt hat, sind Fehlalarme - und damit verärgerte Benutzer - vorprogrammiert.
Wir raten den Nutzern, beim Kauf von Sicherheitssoftware auf Fehlalarme zu achten. Ein Anbieter mag zwar in einem unabhängigen Test eine sehr hohe Erkennungsrate für sein Produkt angeben, aber ohne eine entsprechende Zahl für Fehlalarme kann ein Benutzer nicht sicher sein, dass das Produkt problemlos funktioniert.
Das folgende Diagramm zeigt die durchschnittliche Anzahl von FPs, die in unseren öffentlichen FP-Tests (als Teil der Malware-Erkennungs-/Schutz-Tests) aufgetreten sind; gemittelt über alle Tests gab es 22 FPs pro getestetem Produkt.
Wenn ein Produkt fälschlicherweise einen Fehlalarm bei einer legalen Datei auslöst, kommt es häufig vor, dass andere Produkte die gleiche Datei ebenfalls erkennen, da sie die Erkennungsergebnisse voneinander kopieren (Schneeballeffekt). Wir sind froh, dass Hinweis dass der Online-Scandienst VirusTotal dazu beiträgt, die Zahl der Fehlalarme zu verringern, indem er Entwicklern erlaubt, ihre Dateien mit AV-Anbietern zu teilen.
