Wie stellen Sie sicher, dass Ihre Samples/Testfälle aktuell und gültig sind?
In unserer Real-World Protection Test Serie testen wir kontinuierlich (24×7). Wenn ein Malware-Sample gesammelt wird, z.B. in unserem Honeypot-Netzwerk, wird sie in einer geschlossenen Umgebung analysiert, um zu prüfen, ob sie ausgeführt werden kann. Überprüfte Malware wird dann sofort an die Test-Warteschlange weitergeleitet. Hier wird sie in isolierten Umgebungen für alle Produkte gleichzeitig ausgeführt. Dadurch wird eine unfaire Situation vermieden, in der Programm A früher getestet wird als Programm B. Dies könnte dazu führen, dass Programm B besser abschneidet als Programm A, weil sein Hersteller mehr Zeit hatte, Erkennungsmethoden zu entwickeln oder sie über Online-Multi-Scanning-Dienste oder andere Threat Intelligence-Quellen zu beschaffen. Die meisten unserer Beispiele aus der Praxis werden wenige Minuten nach der Entdeckung getestet (die meisten von ihnen sogar, bevor sie in VirusTotal usw. auftauchen). Produkte, die standardmäßig jede neue/unbekannte/unsignierte Datei blockieren, können dadurch eine hohe Erkennungsrate erzielen. Da jedoch dasselbe Testsystem zur Überprüfung auf Fehlalarme bei sauberen Dateien verwendet wird, haben solche Produkte auch höhere Fehlalarmquoten.
In unserer Malware Protection Testverwenden wir verbreitete Malware-Samples, die in den letzten Tagen und Wochen erschienen sind bevor der Test beginnt. Das bedeutet, dass das zuletzt gesehene Datum zwischen maximal vier Wochen und minimal ein paar Tagen alt ist. Wir würden erwarten, dass jedes anständige Security-Produkt (fast) alle Proben im Test erkennt (wenn sie bei der Ausführung und mit Cloud-Verbindung getestet werden). Zu Informationszwecken enthält der Malware Protection Test Erkennungsraten für Online- und Offline-Scans. Dies verdeutlicht, wie sehr die verschiedenen Produkte auf ihre jeweiligen Cloud-Dienste angewiesen sind. In einigen Fällen sind die Offline-Erkennungsraten nur halb so hoch wie die der Online-Scans. Diese Ergebnisse werden jedoch bei der Vergabe von Auszeichnungen für den Test nicht berücksichtigt.
