Performance Test Methodik
Betriebssystem
Microsoft Windows; die genaue Version wird in jedem Testbericht vermerkt.
Ziel des Tests
Ziel des Tests ist es, zu vergleichen, wie sehr die getesteten Security-Produkte alltägliche Aufgaben wie das Starten von Anwendungen verlangsamen, während sie gleichzeitig das System schützen.
Zielgruppe
Der Test ist für alle Nutzer von Windows-PCs interessant, die sich Sorgen machen, dass Security-Produkte die Performance ihres Systems beeinträchtigen könnten.
Definition von Performance
Performance ist hier definiert als die Geschwindigkeit, mit der ein PC eine bestimmte Aufgabe ausführt. Die Performance wird auf einem PC getestet auf dem eine bestimmte Security-Software läuft und in Vergleich zu einem PC ohne Security-Produkt gesetzt. Es sei darauf hingewiesen, dass die wahrgenommene Performance, d. h. die Frage, ob der Nutzer subjektiv das Gefühl hat, dass das System verlangsamt wird, von Bedeutung ist. In einigen Fällen kann die Auswirkung von Security-Software auf bestimmte Aktionen, wie das Öffnen eines Programms, an sich einen vernachlässigbaren Einfluss auf die tatsächliche Produktivität des Nutzers während eines Arbeitstages haben, den Nutzer aber dennoch irritieren oder frustrieren. Dies kann indirekt dazu führen, dass er oder sie weniger produktiv ist. Da wir die Verwendung eines PCs ohne Antivirus-Software nicht befürworten, sollten die relativen Werte der getesteten Produkte als wichtiger angesehen werden, als der Unterschied zwischen dem schnellsten Produkt und einem PC ohne Security-Software.
Anwendungsbereich des Tests
Der Test misst die von den getesteten Programmen verursachte Reduzierung der Performance (Geschwindigkeit) bei der Ausführung einer Reihe von alltäglichen Aufgaben wie dem Öffnen und Speichern von Dateien. Er misst nicht die Auswirkungen der Security-Produkte auf die Boot-Zeit, da einige Produkte den falschen Eindruck erwecken, schnell geladen zu sein. In Wirklichkeit werden die Schutzfunktionen erst mit Verzögerung gestartet, um den Eindruck zu erwecken, dass das Produkt den Startvorgang nicht verlangsamt hat. So wird der volle Schutz erst einige Zeit nach dem Erscheinen des Windows-Desktops geboten, wobei der Anschein von Geschwindigkeit auf Kosten der Sicherheit geht. Bitte beachten Sie, dass dieser Test in keiner Weise die Malware-Erkennungs-/Schutzfähigkeiten der teilnehmenden Produkte testet. AV-Comparatives führt eine Reihe von separaten Tests zum Schutz vor Malware durch, insbesondere den Real-World Protection Test, dessen Einzelheiten Sie auf unserer Website finden, www.av-comparatives.org. Wir raten davon ab, ein Antivirus-Produkt nur aufgrund einer geringen Beeinflussung der Performance auszuwählen, da es auch einen wirksamen Schutz bieten muss.
Test Setup
Das Betriebssystem wird auf einem einzigen Test-PC installiert und aktualisiert. Es wird darauf geachtet, andere Faktoren, die die Messungen und/oder die Vergleichbarkeit des Systems beeinflussen könnten, zu minimieren; so wird beispielsweise Windows Update so konfiguriert, dass es während des Tests keine Updates herunterlädt oder installiert. Außerdem sind Microsoft Office und Adobe Reader installiert, so dass die Geschwindigkeit beim Öffnen/Speichern von Microsoft Office- und PDF-Dateien gemessen werden kann. Zwei weitere Programme, die beide mit Leistungstests zu tun haben, werden installiert: UL Procyon® Benchmark-Suitedie eine in der Branche anerkannte Suite für Leistungstests ist, und unsere eigene Automatisierung, die bestimmte Aufgaben ausführt und die dafür benötigte Zeit protokolliert. Damit werden verschiedene Dateioperationen simuliert, die ein Computernutzer ausführen würde.
Settings
Bei allen Consumer Produkten werden die Standardeinstellungen belassen.
Testverfahren
Alle Tests werden, um die Auswirkungen von Cloud-Diensten und -Funktionen in der realen Welt zu berücksichtigen, mit einer aktiven Internetverbindung durchgeführt. Die von den Produkten verwendeten Optimierungsprozesse/Fingerprinting werden ebenfalls berücksichtigt - das bedeutet, dass die Ergebnisse die Auswirkungen auf ein System darstellen, das bereits eine Zeit lang vom Nutzer betrieben wurde. Die Tests werden mindestens 10 Mal wiederholt (fünf Mal mit und fünf Mal ohne Fingerprinting), um Mittelwerte zu erhalten und Messfehler herauszufiltern. Im Falle von Schwankungen werden die Tests zusätzlich wiederholt. Nach jedem Durchlauf wird die Workstation neu gebootet. Die automatisierten Testverfahren sind wie folgt:
Kopieren von Dateien
Wir haben eine Reihe verschiedener gängiger Dateitypen von einer physischen Festplatte auf eine andere physische Festplatte kopiert. Einige Antivirus-Produkte ignorieren möglicherweise bestimmte Dateitypen standardmäßig (z.B. aufgrund ihres Dateiformats) oder verwenden Fingerprinting-Technologien, die bereits gescannte Dateien überspringen, um die Geschwindigkeit zu erhöhen.
Archivierung und Wiederherstellung
Archive werden häufig zur Speicherung von Dateien verwendet, und die Auswirkungen von Antivirus-Software auf die Zeit, die für die Erstellung neuer Archive oder die Wiederherstellung von Dateien aus bestehenden Archiven benötigt wird, dürften für die meisten Nutzer von Interesse sein. Wir haben eine Reihe von verschiedenen Dateitypen archiviert, die häufig auf Heim- und Büroarbeitsplätzen zu finden sind.
Installation von Anwendungen
Wir haben mehrere gängige Anwendungen im Silent-Intstall Modus installiert und gemessen, wie lange es dauert. Hier haben wir das Fingerprinting nicht berücksichtigt, da eine Anwendung normalerweise nur einmal installiert wird.
Starten von Anwendungen
Microsoft Office- (Word, Excel, PowerPoint) und PDF-Dokumente sind sehr verbreitet. Wir haben verschiedene Dokumente in Microsoft Office und in Adobe Acrobat Reader geöffnet und später wieder geschlossen. Gemessen wurde die Zeit, die die Viewer- oder Editor-Anwendung zum Starten benötigt. Obwohl wir die Ergebnisse für das erste Öffnen und die nachfolgenden Öffnungen auflisten, halten wir die nachfolgenden Öffnungen für wichtiger, da dieser Vorgang normalerweise mehrmals von den Nutzern durchgeführt wird und eine Optimierung der Antivirus-Produkte erfolgt, um ihre Auswirkungen auf die Systeme zu minimieren.
Download von Dateien
Von einem Webserver im Internet werden allgemein gebräuchliche Dateien heruntergeladen.
Durchsuchen von Websites
Allgemein gebräuchliche Websites werden mit Google Chrome geöffnet und dabei die Zeit zum vollständigen Laden und Anzeigen der Website gemessen. Wir messen nur die Zeit für die Navigation zur Website, wenn bereits eine Instanz des Browsers in Betrieb ist.
Procyon-Test
UL Procyon®-Benchmark suite ausgeführt wird, um die Auswirkungen auf das System während der realen Produktnutzung zu messen.
BEWERTUNGEN
Um eine Gesamtbewertung für jedes Produkt zu erstellen, kombinieren wir die Ergebnisse des Procyon-Tests und unserer eigenen automatischen Tests wie folgt. Die Zeitspanne, die für jede der automatisierten Aufgaben benötigt wird, wird in die Kategorien Sehr schnell, Schnell, Mittelmäßig und Langsam eingeteilt. Für jede Aufgabe werden Punkte vergeben, wobei die Produkte in der Kategorie Schnell 15 Punkte, Schnell 10 Punkte, Mittelmäßig 5 Punkte und Langsam 0 Punkte erhalten. Aus den vergebenen Punkten wird ein aufgerundeter Durchschnitt gebildet, um die Endnote zu ermitteln. Für den Test zum Kopieren von Dateien wird die durchschnittliche Punktzahl für den ersten Durchlauf (mit brandneuem Image) sowie der Durchschnitt der nachfolgenden Durchläufe (um z. B. Fingerabdrücke des Sicherheitsprodukts zu berücksichtigen) herangezogen. Für den Test "Starten von Anwendungen" werden nur die Punktzahlen der nachfolgenden Durchläufe zur Bildung des Durchschnitts verwendet. Da es 6 Einzelaufgaben gibt, kann ein Produkt insgesamt bis zu 90 Punkte erhalten. Die Punktzahl wird dann zur Procyon-Punktzahl addiert, die bis zu 100 geht.
