Der Unterschied zwischen dem EPR-Test von AV-Comparatives und MITRE ATT&CK Engenuity
Sowohl der EPR-Test von AV-Comparatives als auch MITRE Engenuity haben ihre Vorzüge und bieten jeweils nützliche Einblicke in Endpunktsicherheitslösungen. Die Unterschiede zwischen diesen beiden Tests zu verstehen, ist für IT-Manager, CISOs und andere technisch versierte Fachleute, die Endpunktsicherheitslösungen auswählen möchten, die ihre Umgebungen effektiv schützen, von entscheidender Bedeutung.
Test-Szenarien
Während MITRE Engenuity die Techniken einer einzigen Angriffskette bewertet, die von einer vorab ausgewählten APT durchgeführt wird, die im Vorfeld der Bewertung angekündigt wurde, umfasst der EPR-Test von AV-Comparatives 50 verschiedene Angriffsszenarien von nicht offengelegten APTs. AV-Comparatives verzichtet darauf, die Angriffsmethoden und -techniken im Voraus offenzulegen und spiegelt damit reale Szenarien wider. Dieser Ansatz zielt darauf ab, die Fähigkeit einer Lösung zur Verhinderung, Erkennung und Behebung von Angriffen zu demonstrieren, während den Nutzern eine passive Reaktion geboten wird.
Traditionell erfahren die Teilnehmer von MITRE Engenuity durch die Teilnahmeaufrufe, welche Gruppen für die anstehenden Evaluierungen ausgewählt werden. Der Aufruf zur Teilnahme an der Managed Services-Runde 2023-2024 stellt jedoch eine Abweichung von dieser Praxis dar. Diese jüngste Aufforderung zur Teilnahme ermöglicht es den Teilnehmern auch, die Komplexität der Tests zu beeinflussen, indem sie Daten über APT-Taktiken, -Techniken und -Verfahren einreichen, die nur ihnen bekannt sind.
Schutzfähigkeiten
In der Vergangenheit bewertete MITRE Sicherheitslösungen im Modus "Detect-Only", d. h. es wurden Produktreaktionen auf einzelne Techniken innerhalb von Angriffsketten untersucht. MITRE begann jedoch erst in Runde 3 (2020-2021) mit dem Testen von Schutzszenarien, d. h. der Angriff wurde blockiert oder gestört. AV-Comparatives hingegen widmet sich seit Beginn des Tests im Jahr 2020 der Validierung von Schutzfunktionen.
Produkteinstellungen und Umsetzung in der Praxis
MITRE Engenuity erlaubt die Verwendung benutzerdefinierter Produkteinstellungen und ermöglicht es den Anbietern, diese Konfigurationen auf speziellen Produktseiten aufzuführen. Während die Hersteller sehr spezifische Einstellungen verwenden können, um die Testergebnisse zu verbessern, sind diese Einstellungen für den realen Einsatz aufgrund möglicher Fehlalarme, Leistungsprobleme und Ermüdungserscheinungen bei EDR/XDR-Bedienern möglicherweise nicht praktikabel. AV-Comparatives behält die Kontrolle über die Einstellungsänderungen und weist sie in den Testergebnissen aus, um Nutzer besser zu informieren.
Punktevergabe und Leistungsvergleiche
MITRE Engenuity fehlt ein einfaches Bewertungssystem, um die Effektivität von Produkten gegen Bedrohungen zu vergleichen, und es gibt keine umfassende Telemetrie von Vorfällen. AV-Comparatives schließt diese Lücke durch die Einführung eines einfachen Bewertungssystems, das den Kunden bei der Bewertung der Produkteffizienz hilft. Darüber hinaus hat AV-Comparatives eine Kennzahl für die Gesamtbetriebskosten für den Produktvergleich eingeführt, die einen besseren Einblick in die Zahlen ermöglicht. Die Teilnehmer von MITRE Engenuity behaupten alle, dass sie am Ende der Gewinner sind. Im Gegensatz dazu stellen die Tests von AV-Comparatives eine größere Herausforderung dar, da die Teilnehmer anonym bleiben können. Das Erreichen der Zertifizierung ist ein Zeichen für außergewöhnliche Fähigkeiten, selbst für starke Herausforderer.
Operative Genauigkeit und Falschmeldungen (False Positives)
Im Gegensatz zum EPR-Test von AV-Comparatives berücksichtigt die MITRE Engenuity-Bewertung keine False-Positive-Szenarien (operative Genauigkeit). Dieser Ansatz in Verbindung mit der Flexibilität, Produktkonfigurationen zu ändern, birgt das Risiko einer Fehlinterpretation der Endergebnisse. Im Gegensatz dazu bewertet der EPR-Test von AV-Comparatives die operationelle Genauigkeit und betont, wie wichtig es ist, ein Gleichgewicht zwischen falsch-negativen Ergebnissen und operationeller Genauigkeit herzustellen.
Test-Zeitpläne
Die MITRE Engenuity-Tests finden in unterschiedlichen Zeiträumen statt, wobei zwischen den einzelnen Evaluierungen mehrere Monate liegen können. Diejenigen, die früh teilnehmen, haben die Möglichkeit, später getestet zu werden. Im EPR-Test von AV-Comparatives werden die Lösungen fast parallel getestet.
Telemetrie und Threat Hunting
Bei der Entwicklung seiner Engenuity-Tests setzt MITRE die Telemetrie ein und verlässt sich dabei stark auf die Fähigkeit zur Dateninterpretation, um Erkenntnisse zu gewinnen. Hersteller, die wissen, wonach sie suchen müssen, sind besser in der Lage, wertvolle Erkenntnisse aus den Daten zu ziehen. AV-Comparatives hingegen entwickelt seine EPR-Tests auf der Grundlage der Untersuchung von Angriffsszenarien, die seinen Spezialisten bekannt sind und die sie selbst eingehend analysiert haben und die von den Herstellern vor dem Test geschult wurden, damit sie ihre Lösungen effizient einsetzen können.
Schlussfolgerung
Zusammenfassend lässt sich sagen, dass der EPR-Test von AV-Comparatives und die MITRE Engenuity-Tests komplementäre Einblicke bieten, die jeweils einen eigenen Schwerpunkt haben. Für IT-Manager und andere Cybersicherheitsexperten ist es wichtig, die Unterschiede zwischen diesen Tests zu verstehen und diese Faktoren bei der Auswahl von Endpunktsicherheitslösungen zu berücksichtigen.
