Performance Test (Suite Products) Oktober 2014

Datum	Oktober 2014
Sprache	English
Letzte Revision	13. November 2014

Auswirkungen von Internet-Sicherheitssoftware auf die Systemleistung

Datum der Veröffentlichung	2014-11-15
Datum der Überarbeitung	2014-11-13
Prüfzeitraum	Oktober 2014
Online mit Cloud-Konnektivität
Update erlaubt
False-Alarm Test inklusive
Plattform/OS	Microsoft Windows
Methodik	Klicken Sie hier

Geprüfte Produkte
Test-Ergebnisse
Awards

Einführung

Der Performance Test bewertet die Auswirkung von Antivirus-Software auf die Systemleistung, da Programme, die im Hintergrund laufen - wie z.B. Antivirus-Software mit Echtzeitschutz - immer auch einen gewissen Prozentsatz der Systemressourcen verbrauchen. Anhand dieser Tests können Privatanwender ihr Antivirus-Produkt in Bezug auf die Systemgeschwindigkeit (Systemperformanz) bewerten.

Weitere Details zu den Tests entnehmen Sie bitte auch den Dokumenten über die Methodik und weiteren Informationen auf unserer Website.

Wir möchten klarstellen, dass die Ergebnisse in diesem Bericht nur einen Hinweis auf die Auswirkungen auf die Systemleistung (hauptsächlich durch die Echtzeit-/Zugriffskomponenten) der Security-Produkte in diesen spezifischen Tests geben sollen. Nutzer werden aufgefordert, die Software auf ihren eigenen PCs auszuprobieren und zu schauen, wie sie auf ihren eigenen Systemen funktioniert.

Geprüfte Produkte

Die folgenden Produkte wurden bewertet (mit Standard- Einstellungen) in diesem Test. Wir haben die neuesten Produktversionen verwendet, die zum Zeitpunkt des Tests verfügbar waren (Oktober 2014). Zusätzlich wurde auch der in Windows 8.1 integrierte Microsoft Windows Defender bewertet.

Testverfahren

Bitte beachten Sie, dass die Ergebnisse in diesem Bericht nur für die oben aufgeführten Produkte/Versionen gelten (z. B. 64-Bit-Versionen, Produktversion usw.). Bedenken Sie auch, dass verschiedene Anbieter unterschiedliche (und unterschiedlich viele) Funktionen in ihren Produkten anbieten.

Die folgenden Aktivitäten/Tests wurden unter einem aktuellen Windows 8.1 64-Bit-System durchgeführt:

Kopieren von Dateien
Archivierung/Dearchivierung
Kodierung / Transkodierung
Installieren/Deinstallieren von Anwendungen
Starten von Anwendungen
Download von Dateien
PC Mark 8 Professional Testing Suite

Die Tests wurden auf einem Acer Aspire XC600 mit einer Intel Core i5-3330 CPU (3GHz), 4GB RAM und SATA II Festplatten durchgeführt. Die Leistungstests wurden auf einem sauberen und vollständig aktualisierten Windows 8.1 64-Bit-System (Englisch) und dann mit der installierten Internet-Sicherheitssoftware (mit Standardeinstellungen) durchgeführt. Die Tests wurden mit einer aktiven Internetverbindung durchgeführt, um die realen Auswirkungen von Cloud-Diensten/Funktionen zu berücksichtigen.

Die Festplatten wurden vor Beginn der verschiedenen Tests defragmentiert, und es wurde darauf geachtet, dass andere Faktoren, die die Messungen und/oder die Vergleichbarkeit der Systeme beeinflussen könnten, möglichst gering gehalten werden. Auch die von den Produkten verwendeten Optimierungsprozesse/Fingerprinting wurden berücksichtigt - das bedeutet, dass die Ergebnisse die Auswirkungen auf ein System darstellen, das bereits eine Zeit lang vom Benutzer betrieben wurde. Die Tests wurden mehrmals wiederholt (mit und ohne Fingerprinting), um Mittelwerte zu erhalten und Messfehler herauszufiltern. Nach jedem Durchlauf wurde die Workstation defragmentiert und neu gebootet. Wir simulierten verschiedene Dateioperationen, die ein Computerbenutzer durchführen würde: Kopieren verschiedener Arten von sauberen Dateien von einem Ort zum anderen (wir verwenden etwa 3 GB an Daten, die aus verschiedenen Dateitypen und -größen bestehen (Bilder, Filme, Audiodateien, verschiedene MS Office-Dokumente, PDF-Dateien, Anwendungen/ausführbare Dateien, Windows-Betriebssystemdateien, Archive usw.)), Archivierung und Entarchivierung.)), Archivierung und Entarchivierung von Dateien, Kodierung und Transkodierung (Umwandlung von MP3-Dateien in WAV, MP3 in WMA und AVI in MP4) von Audio- und Videodateien, Umwandlung von DVD-Dateien in das iPod-Format, Herunterladen von Dateien aus dem Internet, Starten von Anwendungen usw. Wir haben auch ein branchenweit anerkanntes Leistungstestprogramm eines Drittanbieters (PC Mark 8 Professional) verwendet, um die Auswirkungen auf das System während der realen Produktnutzung zu messen. Die Leser sind eingeladen, die verschiedenen Produkte selbst zu bewerten, um zu sehen, wie sie sich auf ihre Systeme auswirken (z. B. aufgrund von Softwarekonflikten und/oder Benutzereinstellungen sowie unterschiedlichen Systemkonfigurationen, die zu unterschiedlichen Ergebnissen führen können).

Sicherheitsprodukte müssen frühzeitig auf die Systeme geladen werden, um von Anfang an Sicherheit zu bieten - diese Belastung hat einen gewissen Einfluss auf die Zeit, die ein System zum Starten benötigt. Die genaue Messung der Startzeiten ist eine Herausforderung. Das größte Problem besteht darin, genau zu definieren, wann das System vollständig gestartet ist, da viele Betriebsumgebungen noch einige Zeit lang Startaktivitäten durchführen können, nachdem das System für den Benutzer ansprechbar erscheint. Es ist auch wichtig, den Zeitpunkt zu berücksichtigen, an dem der von der getesteten Sicherheitslösung bereitgestellte Schutz vollständig aktiv ist, da dies ein nützliches Maß für den Abschluss des Systemstarts sein könnte, soweit die Sicherheitslösung betroffen ist. Einige Sicherheitsprodukte laden ihre Dienste erst sehr spät beim Booten (oder sogar erst Minuten später). Der Benutzer kann feststellen, dass das System einige Zeit nach dem Hochfahren für eine Weile sehr langsam wird; es sieht also zunächst so aus, als ob das System sehr schnell hochgefahren wäre, aber in Wirklichkeit lädt das Sicherheitsprodukt seine Dienste nur verspätet und macht das System anfälliger. Da wir dies für irreführend halten, veröffentlichen wir in unseren Berichten nach wie vor keine Boot-Zeiten.

Testfälle

Kopieren von Dateien

Einige Antivirenprodukte ignorieren bestimmte Dateitypen standardmäßig (z. B. aufgrund ihrer Dateierweiterungen) oder verwenden Fingerprinting-Technologien, die bereits gescannte Dateien überspringen können, um die Geschwindigkeit zu erhöhen (siehe Anmerkungen auf Seite 6). Wir haben eine Reihe verschiedener gängiger Dateitypen von einer physischen Festplatte auf eine andere physische Festplatte kopiert.

Archivierung und Wiederherstellung

Archive werden häufig zur Speicherung von Dateien verwendet, und die Auswirkungen von Antiviren-Software auf die Zeit, die für die Erstellung neuer Archive oder die Entarchivierung von Dateien aus bestehenden Archiven benötigt wird, dürften für die meisten Benutzer von Interesse sein. Wir haben eine Reihe von verschiedenen Dateitypen archiviert, die üblicherweise auf Heim- und Büroarbeitsplätzen zu finden sind. Die Ergebnisse berücksichtigen bereits die Fingerprinting-/Optimierungstechnologien der Antivirenprodukte, da die meisten Benutzer in der Regel Archive von Dateien erstellen, die sie auf ihrer Festplatte haben.

Kodierung/Transkodierung

Musikdateien werden häufig auf Heimsystemen gespeichert und konvertiert, und die Konvertierung solcher Dateien beansprucht Systemressourcen. Aus diesem Grund sind viele Heimanwender daran interessiert zu erfahren, ob ihr Antiviren-Produkt bei der Konvertierung von Multimediadateien von einem Format in ein anderes eine Verlangsamung verursacht. Wir haben einige Multimediadateien mit FFmpeg und HandBrakeCLI kodiert und transkodiert.

Installieren/Deinstallieren von Anwendungen

Wir haben mehrere beliebte Anwendungen mit dem Silent-Installationsmodus installiert, sie dann deinstalliert und gemessen, wie lange das dauert. Das Fingerprinting wurde nicht berücksichtigt, da eine Anwendung in der Regel nur einmal installiert wird.

Starten von Anwendungen

Microsoft Office- und PDF-Dateien sind sehr verbreitet. Wir haben einige große Dokumentdateien in Microsoft Office und einige große PDF-Dateien in Adobe Acrobat Reader geöffnet und später wieder geschlossen. Gemessen wurde die Zeit, die die Viewer- oder Editor-Anwendung zum Starten und anschließend zum Schließen benötigt. Obwohl wir die Ergebnisse für das erste Öffnen und die nachfolgenden Öffnungen auflisten, halten wir die nachfolgenden Öffnungen für wichtiger, da dieser Vorgang normalerweise mehrmals von den Benutzern durchgeführt wird und die Antivirenprodukte optimiert werden, um ihre Auswirkungen auf die Systeme zu minimieren.

Download von Dateien

Große Dateien werden von einem lokalen Server mit einem GUI-losen Browser heruntergeladen, der das Senden von HTTP-Anfragen im Hintergrund ermöglicht. Außerdem wird der Inhalt mehrerer beliebter Websites über wget, ebenfalls von einem lokalen Server, abgerufen.

Ranking-System

Die Tester legten die Kategorien fest, indem sie statistische Methoden wie hierarchisches Clustering heranzogen und berücksichtigten, was aus der Sicht des Benutzers auffällt oder im Vergleich zu den Auswirkungen anderer Sicherheitsprodukte. Da die einzelnen Leistungsergebnisse anhand von Clustern erstellt werden, spiegelt sich in den Ergebnissen wider, wenn einige Produkte schneller/langsamer sind als andere. Wir geben die Mittelwerte (die Prozentsätze beziehen sich auf ein System ohne ein Sicherheitsprodukt) der Cluster nur als Anhaltspunkt an:

	mittelmäßig	schnell	sehr schnell
Kopieren von Dateien (erster Durchlauf)	Der Mittelwert dieses Clusters liegt über +60%	Der Mittelwert dieses Clusters liegt unter +60%	Der Mittelwert dieses Clusters liegt unter +30%
Kopieren von Dateien (Nachlauf)	-	Der Mittelwert dieses Clusters liegt über +30%	Der Mittelwert dieses Clusters liegt unter +30%
Archivierung/Dearchivierung	-	Der Mittelwert dieses Clusters liegt bei über +15%	Der Mittelwert dieses Clusters liegt unter +15%
Installieren/Deinstallieren	Der Mittelwert dieses Clusters liegt über +40%	Der Mittelwert dieses Clusters liegt unter +40%	Der Mittelwert dieses Clusters liegt unter +20%
Kodierung / Transkodierung	-	-	Der Mittelwert dieses Clusters liegt unter 3%
Offene Office-Dokumente (beim ersten Durchlauf)	-	Der Mittelwert dieses Clusters liegt über +40%	Der Mittelwert dieses Clusters liegt unter +40%
Offene Office-Dokumente (bei späteren Läufen)	-	Der Mittelwert dieses Clusters liegt über +20%	Der Mittelwert dieses Clusters liegt unter +20%
PDF öffnen (beim ersten Durchlauf)	-	Der Mittelwert dieses Clusters liegt über +40%	Der Mittelwert dieses Clusters liegt unter +40%
PDF öffnen (bei späteren Läufen)	-	Der Mittelwert dieses Clusters liegt bei über +15%	Der Mittelwert dieses Clusters liegt unter +15%
Download von Dateien	Der Mittelwert dieses Clusters liegt über +60%	Der Mittelwert dieses Clusters liegt unter +60%	Der Mittelwert dieses Clusters liegt unter +30%

Test-Ergebnisse

Diese spezifischen Testergebnisse zeigen die Auswirkungen von Antiviren-Produkten auf die Systemleistung im Vergleich zu anderen getesteten Antiviren-Produkten. Die gemeldeten Daten geben nur einen Anhaltspunkt und sind nicht unbedingt unter allen Umständen anwendbar, da zu viele Faktoren eine zusätzliche Rolle spielen können.

Da wir festgestellt haben, dass die Angabe von Prozentsätzen von den Nutzern leicht falsch interpretiert werden kann (und auch von Marketingabteilungen oder der Presse missbraucht werden kann) und die Prozentsätze angepasst werden müssen, wenn andere Hardwarespezifikationen verwendet werden, haben wir die prozentualen Ergebnisse gruppiert, indem wir sie in Gruppen zusammengefasst haben. Die Auswirkungen innerhalb dieser Kategorien unterscheiden sich statistisch nicht, auch wenn man die Fehlermessungen berücksichtigt.

Übersicht der einzelnen AV-C Performance Scores

PC Mark Tests

Um einen branchenweit anerkannten Performance-Test zu ermöglichen, haben wir die PC Mark 8 Professional Edition Testpaket. Benutzer, die den PC Mark 8 Benchmark verwenden, sollten darauf achten, alle externen Faktoren, die die Testsuite beeinflussen könnten, zu minimieren und zumindest die im PC Mark-Handbuch dokumentierten Vorschläge strikt zu befolgen, um konsistente und gültige/brauchbare Ergebnisse zu erhalten. Außerdem sollten die Tests mehrmals wiederholt werden, um sie zu verifizieren. Weitere Informationen zu den verschiedenen Tests für Verbraucherszenarien, die in PC Mark enthalten sind, finden Sie im Whitepaper auf der Website Website.

"Ohne IS" wird auf einem Basissystem mit einem Intel Core i5-3330 Rechner mit 4 GB RAM getestet, der im PC Mark 8 Work Benchmark 100 Punkte erreicht. Der PC Mark Score mit aktivem Windows Defender würde 97,4 betragen.

Zusammengefasste Ergebnisse

Die Benutzer sollten die verschiedenen Untertests nach ihren Bedürfnissen gewichten. Wir haben ein Punktesystem angewendet, um die verschiedenen Ergebnisse zusammenzufassen.

Für das "Kopieren von Dateien" haben wir die Mittelwerte genommen, ebenso wie für das "Starten von Anwendungen" (bei nachfolgenden Durchläufen). Wie in früheren Leistungsberichten erhält "sehr schnell" 15 Punkte, "schnell" 10 Punkte, "mittelmäßig" 5 Punkte und "langsam" null Punkte. Bei aktiviertem Windows Defender und Microsoft Windows 8.1 beträgt die Bewertung der Systemauswirkungen 9,6. Dies führt zu den folgenden Ergebnissen:

		AV-C Score	PC Mark Score	Impact Score
1.	ESET	90	98.8	1.2
2.	Avira, Bitdefender, Kaspersky, Sophos	90	97.7	2.3
3.	Kingsoft	88	97.8	4.2
4.	Baidu	88	97.3	4.7

5.	Qihoo	85	97.8	7.2
6.	AVG, Fortinet	85	97.1	7.9
7.	Avast	83	98.3	8.7

8.	F-Secure	80	98.0	12.0
9.	Emsisoft, eScan	80	97.7	12.3
10.	Panda	80	97.5	12.5
11.	AhnLab, McAfee	80	98.0	12.9
12.	ThreatTrack	80	96.7	13.3
13.	Trend Micro	78	96.5	15.5
14.	BullGuard	76	97.3	16.7
15.	Tencent	73	94.8	22.2
16.	Lavasoft	68	96.7	25.3

Bei aktiviertem Windows Defender unter Microsoft Windows 8.1 beträgt die Bewertung der Systemauswirkungen 9,6.

In diesem Performance Test erreichte Award Level

Anmerkungen

Die On-Access-/Echtzeit-Scanner-Komponente von Antiviren-Software läuft als Hintergrundprozess und überprüft alle Dateien, auf die zugegriffen wird, um das System kontinuierlich vor Malware-Bedrohungen zu schützen. On-Access-Scanner scannen beispielsweise Dateien, sobald auf sie zugegriffen wird, während (z. B.) Behavior-Blocker eine andere Schutzebene hinzufügen und überwachen, was die Datei tut, wenn sie bereits ausgeführt/betrieben wird. Die Dienste und Prozesse, die im Hintergrund laufen, um diese Aufgaben zu erledigen, benötigen und nutzen ebenfalls Systemressourcen. Suite-Produkte wirken sich in der Regel stärker auf die Systemleistung aus als reine Antiviren-Produkte, da mehr Dienste/Funktionen enthalten sind und im Hintergrund laufen.

Security-Produkte müssen tief in das System eingreifen, um es zu schützen, z.B. um Prozesse usw. zu scannen, die bereits beim Systemstart aktiv sind, um Rootkits und andere Malware zu erkennen. Diese Vorgänge verursachen zusätzliche Zeit und damit eine Verzögerung des Systemstarts.

Wenn ein Produkt zu viele Systemressourcen beansprucht, ärgern sich die Benutzer und deaktivieren oder deinstallieren möglicherweise einige wichtige Schutzfunktionen (und beeinträchtigen damit die Sicherheit ihres Systems erheblich) oder wechseln zu einer Sicherheitssoftware, die weniger Ressourcen verbraucht. Daher ist es nicht nur wichtig, dass die Antiviren-Software hohe Erkennungsraten und einen guten Schutz vor Malware bietet, sondern auch, dass sie die Systemleistung nicht beeinträchtigt und die Benutzer nicht stört.

In diesem Bericht wird zwar untersucht, wie stark sich verschiedene Internet-Security-Produkte auf die Systemperformance auswirken, aber nicht immer ist die Security-Software die Hauptursache für ein langsames System. Auch andere Faktoren spielen eine Rolle, und wenn die Nutzer einige einfache Regeln befolgen, kann die Systemperformance spürbar verbessert werden. In den folgenden Abschnitten werden einige der anderen Faktoren behandelt, die eine Rolle spielen können.

Einige häufige Probleme, die auf einigen User-PCs beobachtet wurden:

Alte Hardware: Wenn ein PC bereits im Schneckentempo läuft, weil er mit zehn Jahre alter Hardware ausgestattet ist, kann die Verwendung moderner (Security-)Software ihn unbrauchbar machen.
- Wenn möglich, sollten Sie einen neuen PC kaufen, der mindestens die empfohlenen Mindestanforderungen der Software erfüllt, die Sie verwenden möchten. Multi-Core-Prozessoren sind zu bevorzugen.
- Mehr RAM kann nicht schaden. Wenn Sie Windows 7 oder Windows 8 verwenden, sollten Sie mindestens 4 GB RAM verwenden. Wenn Sie Windows XP oder Vista verwenden, wechseln Sie zu Windows 7 oder Windows 8.1 64-Bit.
- Stellen Sie sicher, dass Sie nur EIN Security-Programm mit Echtzeitschutz verwenden. Wenn Ihr neuer PC mit einer Testversion des Security-Programms geliefert wurde, entfernen Sie diese, bevor Sie ein anderes Schutzprogramm installieren.

Halten Sie Ihre gesamte Software auf dem neuesten Stand: Wenn Sie eine Antiviren-Version von z. B. 2012 verwenden, sind Sie möglicherweise nicht so gut geschützt wie mit einer neueren Version, auch wenn Sie die Signaturen noch aktualisieren können. Bitte besuchen Sie uns regelmäßig und halten Sie Ihr Betriebssystem auf dem neuesten Stand, indem Sie die empfohlenen Patches installieren. Jede Software kann Schwachstellen und Fehler aufweisen. Halten Sie daher die gesamte auf Ihrem PC installierte Software auf dem neuesten Stand: So sind Sie nicht nur vor vielen Exploits und Schwachstellen geschützt, sondern erhalten auch alle anderen Verbesserungen der Anwendungen, die eingeführt wurden.

Bereinigen Sie den Inhalt Ihrer Festplatte:
- Wenn Ihre Festplatte fast voll ist, leidet Ihre Systemleistung entsprechend. Lassen Sie mindestens 20% Ihres Festplattenspeichers frei und übertragen Sie Ihre Filme und andere Dateien, auf die nur selten zugegriffen wird, auf eine andere (externe) Festplatte. Wenn Geld keine Rolle spielt, sollten Sie den Kauf von Solid-State-Laufwerken (SSDs) in Betracht ziehen.
- Deinstallieren Sie nicht benötigte Software. Oft ist die Verlangsamung, die Nutzer nach der Installation eines Antivirus-Produkts feststellen, auf andere Software auf dem PC zurückzuführen, die im Hintergrund läuft (d.h. aufgrund von Softwarekonflikten oder starkem Dateizugriff durch andere Programme, wobei jeder Zugriff einen Antivirus-Scan erfordert).
- Entfernen Sie nicht benötigte Einträge/Verknüpfungen aus dem Ordner "Start" im Menü "Alle Programme".
- Wenn Ihr PC bereits durch Restdateien und Registrierungseinträge verseucht ist, die von Hunderten von Anwendungen übrig geblieben sind, die Sie installiert und nach dem Ausprobieren wieder deinstalliert haben, sollten Sie ein sauberes Betriebssystem neu installieren und nur Software installieren, die Sie wirklich benötigen (weniger Software-Installationen bedeuten weniger potenzielle Schwachstellen und Konflikte usw.) und z. B. ein Image-/Backup-Tool verwenden, um sicherzustellen, dass Sie in Zukunft nicht alles manuell neu installieren müssen.

Defragmentieren Sie Ihre Festplatten regelmäßig: Eine fragmentierte Festplatte kann sich sehr stark auf die Systemleistung auswirken und die Zeit, die zum Hochfahren des Systems benötigt wird, erheblich verlängern. Bitte beachten Sie, dass dies nicht für Solid-State-Laufwerke (SSDs) gilt.

Fingerprinting/Optimierung: Die meisten Antivirenprodukte verwenden verschiedene Technologien, um ihre Auswirkungen auf die Systemleistung zu verringern. Fingerprinting ist eine solche Technologie, bei der bereits gescannte Dateien eine Zeit lang nicht erneut gescannt werden (oder seltener) oder auf eine Whitelist gesetzt werden. Dies erhöht die Geschwindigkeit erheblich (vor allem nach längerer PC-Nutzung), birgt aber auch ein gewisses Risiko, da nicht mehr alle Dateien gescannt werden. Es liegt im Ermessen des Benutzers, was er tun möchte. Wir empfehlen, regelmäßig einen vollständigen System-Scan durchzuführen (um sicherzugehen, dass alle Dateien zumindest derzeit als sauber befunden werden, und um das Fingerprinting weiter zu optimieren).

Haben Sie Geduld: eine Verzögerung von ein paar zusätzlichen Sekunden aufgrund von Security-Software ist nicht unbedingt eine große Sache. Wenn die Leistung Ihres PCs trotz der obigen Vorschläge immer noch zu wünschen übrig lässt, sollten Sie ein anderes Antivirus-Produkt ausprobieren. Wenn Sie die Verlangsamung erst bemerken, nachdem Sie das Antivirus-Programm über einen längeren Zeitraum verwendet haben, sind wahrscheinlich andere Faktoren für die Verlangsamung verantwortlich. Reduzieren Sie niemals Ihre Sicherheit, indem Sie wichtige Schutzfunktionen deaktivieren, nur in der Hoffnung, einen etwas schnelleren PC zu bekommen!

Copyright und Haftungsausschluss

Diese Veröffentlichung ist Copyright © 2014 von AV-Comparatives ®. Jegliche Verwendung der Ergebnisse, etc. im Ganzen oder in Teilen, ist NUR nach ausdrücklicher schriftlicher Zustimmung der Geschäftsführung von AV-Comparatives vor einer Veröffentlichung erlaubt. AV-Comparatives und seine Tester können nicht für Schäden oder Verluste haftbar gemacht werden, die sich aus der Verwendung der in diesem Dokument enthaltenen Informationen ergeben könnten. Wir bemühen uns mit aller Sorgfalt um die Richtigkeit der Basisdaten, eine Haftung für die Richtigkeit der Testergebnisse kann jedoch von keinem Vertreter von AV-Comparatives übernommen werden. Wir übernehmen keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung für einen bestimmten Zweck der zu einem bestimmten Zeitpunkt bereitgestellten Informationen/Inhalte. Niemand, der an der Erstellung, Produktion oder Lieferung von Testergebnissen beteiligt ist, haftet für indirekte, besondere oder Folgeschäden oder entgangenen Gewinn, die sich aus der Nutzung oder der Unmöglichkeit der Nutzung der auf der Website angebotenen Dienste, Testdokumente oder damit zusammenhängenden Daten ergeben oder damit zusammenhängen.

Für weitere Informationen über AV-Comparatives und die Testmethoden besuchen Sie bitte unsere Website.

AV-Comparatives
(November 2014)