Business Security Test März-April 2024 - Factsheet
| Datum der Veröffentlichung | 2024-05-15 |
| Datum der Überarbeitung | 2024-05-10 |
| Prüfzeitraum | März - April 2024 |
| Anzahl der Testfälle | 246 |
| Online mit Cloud-Konnektivität |  |
| Update erlaubt | |
| False-Alarm Test inklusive | |
| Plattform/OS | Microsoft Windows |
Dieser Bericht ist ein Auszug aus dem Business Security Test 2024 (März - Juni). Für weitere Details, klicken Sie bitte auf diesen hier.
Einleitung
Dies ist ein kurzes Factsheet zu unserer Business Main-Test Series, das die Ergebnisse des Business Malware Protection Test (September) und des Business Real-World Protection Test (März-April) enthält. Der vollständige Bericht, einschließlich des Performance Test und der Produktbewertungen, wird im Juli veröffentlicht.
Um im Juli 2024 von AV-Comparatives als "Approved Business Product" zertifiziert zu werden, müssen die getesteten Produkte im Malware Protection Test mindestens 90% erreichen, mit null Fehlalarmen bei gängiger Unternehmenssoftware und einer FP-Rate bei nicht-geschäftlichen Dateien unter der Auffallend hoch Schwelle. Überdies müssen die Produkte im gesamten Real-World Protection Test (d.h. über einen Zeitraum von vier Monaten) mindestens 90% erreichen, wobei weniger als fünfzig Fehlalarme bei sauberer Software/Websites und null Fehlalarme bei gängiger Unternehmenssoftware auftreten dürfen. Die getesteten Produkte müssen außerdem keine größeren Performanzprobleme aufweisen (Impact Score muss unter 40 liegen) und alle gemeldeten Fehler behoben haben, um eine Zertifizierung zu erhalten.
Bitte beachten Sie, dass die Ergebnisse der Business Main-Test Series nicht mit den Ergebnissen der Consumer Main-Test Series verglichen werden können, da die Tests zu unterschiedlichen Zeiten, mit unterschiedlichen Geräten, unterschiedlichen Einstellungen usw. durchgeführt werden.
Geprüfte Produkte
Die folgenden Produkte wurden unter Windows 10 64-bit getestet und sind in diesem Factsheet enthalten:
Die "ENS"-Version von Trellix verwendet in diesem Test die frühere McAfee Engine (jetzt im Besitz von Trellix), im Gegensatz zur "HX"-Version, die die FireEye-Engine verwendet (McAfee Enterprise und FireEye fusionierten 2022 zu Trellix).
Informationen über zusätzliche Engines/Signaturen von Drittanbietern, die von einigen der Produkte verwendet werden: CISCO, G Data, Rapid7, SenseOn und VIPRE verwenden die Bitdefender Engine (zusätzlich zu ihren eigenen Schutzfunktionen). VMware verwendet die Avira Engine (zusätzlich zu ihren eigenen Schutzfunktionen).
Settings
In Unternehmensumgebungen und bei Business-Produkten im Allgemeinen ist es üblich, dass die Produkte vom Systemadministrator gemäß den Richtlinien des Herstellers konfiguriert werden, und daher haben wir alle Hersteller aufgefordert, ihre jeweiligen Produkte zu konfigurieren.
Einige wenige Anbieter liefern ihre Produkte mit optimalen Standardeinstellungen, die sofort einsatzbereit sind, und haben daher keine Einstellungen verändert.
Bitte beachten Sie, dass die in der Enterprise Main-Test Series erzielten Ergebnisse nur durch die Anwendung der hier beschriebenen Produktkonfigurationen erreicht wurden. Jede hier als aktiviert aufgeführte Einstellung kann in Ihrer Umgebung deaktiviert sein und umgekehrt. Dies beeinflusst die Schutzraten, die Fehlalarmraten und die Auswirkungen auf das System. Die angewendeten Einstellungen werden im Laufe des Jahres für alle unsere Enterprise Tests verwendet. Das heißt, dass wir es einem Anbieter nicht erlauben, die Einstellungen je nach Test zu ändern. Andernfalls könnten die Anbieter ihre jeweiligen Produkte z.B. so konfigurieren, dass sie bei den Protection Tests maximalen Schutz bieten (was die Performanz verringern und die Fehlalarme erhöhen würde) und bei den Performance Tests maximale Geschwindigkeit erreichen (was wiederum den Schutz und die Fehlalarme verringern würde). Bitte beachten Sie, dass bei einigen Produkten für Unternehmen alle Schutzfunktionen standardmäßig deaktiviert sind, so dass der Administrator das Produkt konfigurieren muss, um einen Schutz zu erhalten.
Nachfolgend sind die relevante Abweichungen von den Standardeinstellungen aufgelistet (d.h. von den Anbietern vorgenommene Einstellungsänderungen):
Bitdefender: "Sandbox Analyzer" (für Anwendungen, Dokumente, Skripte, Archive und E-Mails) aktiviert. "Analysis mode" auf "Monitoring" eingestellt. "Scan SSL" für HTTP und RDP aktiviert. "HyperDetect" und "Device Control" deaktiviert. "Update ring" auf "Fast ring" geändert. "Web Traffic Scan" und "Email Traffic Scan" für eingehende E-Mails (POP3) aktiviert. "Ransomware Mitigation" aktiviert. "Process memory Scan" für "On-Access scanning" aktiviert. Alle "AMSI Command Line Scanner"-Einstellungen für "Fileless Attack Protection" aktiviert.
CISCO: "On Execute File and Process Scan" auf Active gesetzt; "Exploit Prevention: Script Control" auf "Block" gesetzt; "TETRA Deep Scan File" deaktiviert; "Exclusions" auf "Microsoft Windows Default" gesetzt; Engines "ETHOS" und "SPERO" deaktiviert. "Exploit Prevention" auf "Aggressive" eingestellt. "Submit Files for Analysis" auf "Active" eingestellt. "MaxScanFileSize" auf 250 MB erhöht; "MaxArchiveScanFileSize" auf 500MB erhöht.
CrowdStrike: alles aktiviert und auf Maximum eingestellt, d.h. "Extra Aggressive". "On Write Script File Visibility" und "Uploading of Unknown Detection-Related Executables" aktiviert. "On-demand Scans" und "Uploading of All Unknown Executables" deaktiviert.
Elastic: MalwareScore ("windows.advanced.malware.threshold") auf "aggressive" eingestellt und Rollback-SelfHealing ("windows.advanced.alerts.rollback.self_healing.enabled") aktiviert. "Credential hardening" aktiviert.
ESET: Unter "Protections" wurden alle "Detection responses" auf "Aggressiv" eingestellt. "Detection of potentially unwanted programs" aktiviert.
G Data: "BEAST Behavior Monitoring" auf "Halt program and move to quarantine" eingestellt. "BEAST Automatic Whitelisting" deaktiviert. "G DATA WebProtection"-Add-on für Google Chrome installiert und aktiviert. "Malware Information Initiative" aktiviert.
Kaspersky: "Adaptive Anomaly Control" deaktiviert; "Detect other software that can be used by criminals to damage your computer or personal data" aktiviert.
Microsoft: "CloudExtendedTimeOut" auf 50 gesetzt; "PuaProtection" aktiviert. "SubmitSamplesConsent" eingestellt auf "SendAllSamples". Google Chrome-Erweiterung "Windows Defender Browser Protection" installiert und aktiviert;
Rapid7: Unter "On-Access Scanning" wurde die "Agent action" auf "Disinfect" gesetzt. Die Option "Data Encryption Attacks" wurde auf "Block" gesetzt.
SenseOn: Unter "Endpoint Protection" wurde die "Protection Level" auf "Respond" gesetzt. Der "Real Time Process Protection" wurde aktiviert und die Empfindlichkeit auf "Medium" eingestellt.
Sophos: "Threat Graph creation", "Web Control" und "Event logging" deaktiviert.
Trellix: "Trellix Endpoint Security Web Control" Add-on für Google Chrome aktiviert. "Access Protection", "Firewall" und “Exploit Prevention” deaktiviert.
VIPRE: "IDS" aktiviert und auf “Block With Notify” eingestellt. "Firewall" aktiviert. "AMSI" deaktiviert. “Incompatible Software Handling” deaktiviert.
VMware: Policy auf "Advanced" eingestellt.
Avast, K7, NetSecurity: Standardeinstellungen.
Test-Ergebnisse
Real-World Protection Test (März-April)
Dieses Factsheet gibt einen kurzen Überblick über die Ergebnisse des Business Real-World Protection Test, der im März und April 2024 durchgeführt wurde. Die Gesamtberichte über die Unternehmensprodukte (die jeweils vier Monate umfassen) werden im Juli und Dezember veröffentlicht. Weitere Informationen zu diesem Real-World Protection Test finden Sie unter https://www.av-comparatives.org. Die Ergebnisse beruhen auf einem Testsatz, bestehend aus 246 Testfällen (wie bösartige URLs), die von Anfang März bis Ende April getestet wurden.
| Blocked | User-Dependent | Kompromitiert |
SCHUTZQUOTE [Blocked % + (User Dependent %)/2]* |
False-Positives (FPs) | |
| Avast, Elastic, Kaspersky |
246 | – | – | 100% | 0 |
| Bitdefender, G Data |
246 | – | – | 100% | 1 |
| CrowdStrike | 246 | – | – | 100% | 3 |
| ESET, VIPRE |
245 | – | 1 | 99.6% | 0 |
| K7 | 245 | – | 1 | 99.6% | 1 |
| Cisco, SenseOn |
244 | – | 2 | 99.2% | 0 |
| Trellix | 243 | – | 3 | 98.8% | 2 |
| Microsoft | 242 | – | 4 | 98.4% | 0 |
| Sophos, VMware |
241 | – | 5 | 98.0% | 0 |
| Rapid7 | 232 | – | 14 | 94.3% | 0 |
| NetSecurity | 230 | – | 16 | 93.5% | 0 |
* User-Dependent (Benutzerabhängige) Fälle werden zur Hälfte angerechnet. Wenn ein Programm zum Beispiel 80% von sich aus blockiert und weitere 20% der Fälle User-Dependent sind, geben wir die Hälfte der 20% an, also 10%, so dass es insgesamt 90% erhält.
Malware Protection Test (März)
Der Malware Protection Test bewertet die Fähigkeit eines Security-Programms, ein System vor, während oder nach der Ausführung vor einer Infektion durch schädliche Dateien zu schützen. Die für jedes getestete Produkt angewandte Methodik ist wie folgt: Vor der Ausführung werden alle Samples einem On-Access Scan vom Security-Programm unterzogen (sofern diese Funktion verfügbar ist) (z.B. beim Kopieren der Dateien über das Netzwerk). Alle Samples, die vom On-Access Scanner nicht erkannt wurden, werden dann auf dem Testsystem ausgeführt, das über einen Internet- bzw. Cloud-Zugang verfügt, damit z.B. Verhaltenserkennungsfunktionen zum Tragen kommen können. Wenn ein Produkt nicht alle von einem bestimmten Malware-Sample vorgenommenen Änderungen innerhalb eines bestimmten Zeitraums verhindert oder rückgängig macht, gilt dieser Testfall als Fehlschlag. Für diesen Test wurden 1,039 aktuelle Malware-Samples verwendet.
False-Positives (False-Alarm) Test mit gängiger Business-Software
Es wurde auch ein False-Alarm Test mit gängiger Software für Unternehmen durchgeführt. Alle getesteten Produkte hatten Null Fehlalarme bei gängiger Business-Software.
Die folgende Tabelle zeigt die Ergebnisse des Business Malware Protection Tests:
| Malware-Schutzrate | Fehlalarme bei gängiger Business-Software | |
| VMware | 99.8% | 0 |
| Avast, Elastic | 99.5% | 0 |
| Microsoft | 99.4% | 0 |
| ESET, G Data | 99.3% | 0 |
| Bitdefender | 99.2% | 0 |
| CrowdStrike, Kaspersky | 99.1% | 0 |
| CISCO, SenseOn, VIPRE | 98.7% | 0 |
| Trellix | 98.2% | 0 |
| NetSecurity | 98.0% | 0 |
| Rapid7 | 97.2% | 0 |
| Sophos | 97.1% | 0 |
| K7 | 93.8% | 0 |
Um die Erkennungsgenauigkeit und die Dateierkennungsfähigkeiten der Produkte (die Fähigkeit, gutartige Dateien von bösartigen Dateien zu unterscheiden) besser beurteilen zu können, haben wir auch einen False-Alarm Test mit nicht-geschäftlicher Software und ungewöhnlichen Dateien durchgeführt. Die Ergebnisse sind in den nachstehenden Tabellen aufgeführt; die festgestellten Fehlalarme wurden von den jeweiligen Anbietern umgehend behoben. Organisationen, die häufig unübliche oder nicht-geschäftliche Software oder selbst entwickelte Software verwenden, sollten diese Ergebnisse jedoch berücksichtigen. Die Produkte müssen eine False-Positives Rate (FP-Rate) für nicht unternehmensrelevanten Dateien aufweisen, die unter dem Auffallend hoch Schwellenwert liegt, um zugelassen zu werden. Damit soll sichergestellt werden, dass die getesteten Produkte keine höheren Schutzraten erreichen, indem sie Einstellungen verwenden, die eine übermäßige Anzahl von False-Positives verursachen könnten.
| FP-Rate | Anzahl der FPs auf Non-Business-Software |
|---|---|
| Sehr niedrig | 0 – 5 |
| Low | 6 – 15 |
| Mittel/Durchschnitt | 16 – 35 |
| High | 36 – 75 |
| Sehr hoch | 76 – 125 |
| Auffallend hoch | > 125 |
| FP-Rate mit Non-Business-Software | |
| Kaspersky, Rapid7 | Sehr niedrig |
| Avast, Bitdefender, ESET, G Data, SenseOn, VIPRE | Low |
| Cisco, Elastic, K7, Microsoft, NetSecurity, Trellix | Mittel/Durchschnitt |
| CrowdStrike, Sophos, VMware | High |
| – | Sehr hoch |
| – | Auffallend hoch |
Copyright und Haftungsausschluss
Diese Veröffentlichung ist Copyright © 2024 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.
Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.
AV-Comparatives
(Mai 2024)