Performance Test Methodik
Betriebssystem
Microsoft Windows; die genaue Version wird in jedem Testbericht vermerkt.
Ziel des Tests
Ziel des Tests ist es, zu vergleichen, wie sehr die getesteten Security-Produkte alltägliche Aufgaben wie das Starten von Anwendungen verlangsamen, während sie gleichzeitig das System schützen.
Zielgruppe
Der Test ist für alle Nutzer von Windows-PCs interessant, die sich Sorgen machen, dass Security-Produkte die Performance ihres Systems beeinträchtigen könnten.
Definition von Performance
Performance ist hier definiert als die Geschwindigkeit, mit der ein PC eine bestimmte Aufgabe ausführt. Die Performance wird auf einem PC getestet auf dem eine bestimmte Security-Software läuft und in Vergleich zu einem PC ohne Security-Produkt gesetzt. Es sei darauf hingewiesen, dass die wahrgenommene Performance, d. h. die Frage, ob der Nutzer subjektiv das Gefühl hat, dass das System verlangsamt wird, von Bedeutung ist. In einigen Fällen kann die Auswirkung von Security-Software auf bestimmte Aktionen, wie das Öffnen eines Programms, an sich einen vernachlässigbaren Einfluss auf die tatsächliche Produktivität des Nutzers während eines Arbeitstages haben, den Nutzer aber dennoch irritieren oder frustrieren. Dies kann indirekt dazu führen, dass er oder sie weniger produktiv ist. Da wir die Verwendung eines PCs ohne Antivirus-Software nicht befürworten, sollten die relativen Werte der getesteten Produkte als wichtiger angesehen werden, als der Unterschied zwischen dem schnellsten Produkt und einem PC ohne Security-Software.
Anwendungsbereich des Tests
Der Test misst die von den getesteten Programmen verursachte Reduzierung der Performance (Geschwindigkeit) bei der Ausführung einer Reihe von alltäglichen Aufgaben wie dem Öffnen und Speichern von Dateien. Er misst nicht die Auswirkungen der Security-Produkte auf die Boot-Zeit, da einige Produkte den falschen Eindruck erwecken, schnell geladen zu sein. In Wirklichkeit werden die Schutzfunktionen erst mit Verzögerung gestartet, um den Eindruck zu erwecken, dass das Produkt den Startvorgang nicht verlangsamt hat. So wird der volle Schutz erst einige Zeit nach dem Erscheinen des Windows-Desktops geboten, wobei der Anschein von Geschwindigkeit auf Kosten der Sicherheit geht. Bitte beachten Sie, dass dieser Test in keiner Weise die Malware-Erkennungs-/Schutzfähigkeiten der teilnehmenden Produkte testet. AV-Comparatives führt eine Reihe von separaten Tests zum Schutz vor Malware durch, insbesondere den Real-World Protection Test, dessen Einzelheiten Sie auf unserer Website finden, www.av-comparatives.org. Wir raten davon ab, ein Antivirus-Produkt nur aufgrund einer geringen Beeinflussung der Performance auszuwählen, da es auch einen wirksamen Schutz bieten muss.
Test Setup
The operating system is installed on a single test PC and updated. Care is taken to minimize other factors that could influence the measurements and/or comparability of the system; for example, Windows Update is configured so that it will not download or install updates during the test. Additionally, Microsoft Office and Adobe Reader are installed, so that the speed of opening/saving Microsoft Office and PDF files can be measured. Two further programs, both relating to performance testing, are installed: UL Procyon® Benchmark-Suite, which is an industry-recognised performance-testing suite, and our own automation which runs specified tasks and logs the time taken to complete them. It is used to simulate various file operations that a computer user would execute.
Settings
Bei allen Consumer Produkten werden die Standardeinstellungen belassen.
Testverfahren
Alle Tests werden, um die Auswirkungen von Cloud-Diensten und -Funktionen in der realen Welt zu berücksichtigen, mit einer aktiven Internetverbindung durchgeführt. Die von den Produkten verwendeten Optimierungsprozesse/Fingerprinting werden ebenfalls berücksichtigt - das bedeutet, dass die Ergebnisse die Auswirkungen auf ein System darstellen, das bereits eine Zeit lang vom Nutzer betrieben wurde. Die Tests werden mindestens 10 Mal wiederholt (fünf Mal mit und fünf Mal ohne Fingerprinting), um Mittelwerte zu erhalten und Messfehler herauszufiltern. Im Falle von Schwankungen werden die Tests zusätzlich wiederholt. Nach jedem Durchlauf wird die Workstation neu gebootet. Die automatisierten Testverfahren sind wie folgt:
Kopieren von Dateien
Wir haben eine Reihe verschiedener gängiger Dateitypen von einer physischen Festplatte auf eine andere physische Festplatte kopiert. Einige Antivirus-Produkte ignorieren möglicherweise bestimmte Dateitypen standardmäßig (z.B. aufgrund ihres Dateiformats) oder verwenden Fingerprinting-Technologien, die bereits gescannte Dateien überspringen, um die Geschwindigkeit zu erhöhen.
Archivierung und Wiederherstellung
Archive werden häufig zur Speicherung von Dateien verwendet, und die Auswirkungen von Antivirus-Software auf die Zeit, die für die Erstellung neuer Archive oder die Wiederherstellung von Dateien aus bestehenden Archiven benötigt wird, dürften für die meisten Nutzer von Interesse sein. Wir haben eine Reihe von verschiedenen Dateitypen archiviert, die häufig auf Heim- und Büroarbeitsplätzen zu finden sind.
Installation von Anwendungen
Wir haben mehrere gängige Anwendungen im Silent-Intstall Modus installiert und gemessen, wie lange es dauert. Hier haben wir das Fingerprinting nicht berücksichtigt, da eine Anwendung normalerweise nur einmal installiert wird.
Starten von Anwendungen
Microsoft Office- (Word, Excel, PowerPoint) und PDF-Dokumente sind sehr verbreitet. Wir haben verschiedene Dokumente in Microsoft Office und in Adobe Acrobat Reader geöffnet und später wieder geschlossen. Gemessen wurde die Zeit, die die Viewer- oder Editor-Anwendung zum Starten benötigt. Obwohl wir die Ergebnisse für das erste Öffnen und die nachfolgenden Öffnungen auflisten, halten wir die nachfolgenden Öffnungen für wichtiger, da dieser Vorgang normalerweise mehrmals von den Nutzern durchgeführt wird und eine Optimierung der Antivirus-Produkte erfolgt, um ihre Auswirkungen auf die Systeme zu minimieren.
Download von Dateien
Von einem Webserver im Internet werden allgemein gebräuchliche Dateien heruntergeladen.
Durchsuchen von Websites
Allgemein gebräuchliche Websites werden mit Google Chrome geöffnet und dabei die Zeit zum vollständigen Laden und Anzeigen der Website gemessen. Wir messen nur die Zeit für die Navigation zur Website, wenn bereits eine Instanz des Browsers in Betrieb ist.
Procyon Test
UL Procyon® benchmark suite is run, to measure the system impact during real-world product usage.
BEWERTUNGEN
To produce an overall rating for each product, we combine the scores from the Procyon test and from our own automated tests, as follows. The range of times taken to complete each of the automated tasks is clustered into the categories Very Fast, Fast, Mediocre and Slow. Points are then awarded for each task, with products in the Fast category gaining 15 points, Fast getting 10 points, Mediocre 5 points and Slow zero points. A rounded-up average is taken of the points awarded to produce a final score. For the File Copying test, the mean score for the first run (with brand-new image) is taken, along with the average of the subsequent runs (to allow for e.g. fingerprinting by the security product). For the Launching Applications test, only the scores of the subsequent runs are used to create the average. As there are 6 individual tasks, a product can get up to 90 points overall. The number of points is then added to the Procyon score, which goes up to 100.
