AV-Comparatives: Antivirenlösungen auf dem Prüfstand

Die Zusammenfassung der Ergebnisse seiner Arbeit mit Sicherheitsprodukten in den vergangenen drei Monate beginnt das Innsbrucker Testlabor AV-Comparatives mit einem schönen Vergleich: „Bodyguards und Antivirensoftware besitzen viele Gemeinsamkeiten. Sie sollen zuverlässig schützen. Sie müssen ihr gesamtes Können auch gegen unbekannte Gefahren zielsicher einsetzen. Sie beweisen ihre wahre Schutzwirkung erst im täglichen Einsatz im realen Leben. Doch wie kann der Gefährdete erkennen, ob es sich um einen Trainingsweltmeister, um einen reinen Spezialisten in einer Einzeldisziplin oder um einen kampferprobten Profi handelt?“

Die Antwort der Österreicher klingt einfach: Der Test muss die Gegebenheiten im „wahren Leben“ nachstellen. Damit streuen sie Salz in die Wunden, die die Kritik der Hersteller bei der Stiftung Warentest im März geschlagen hat. Die Softwarehersteller warfen den Testern der Stiftung vor, sie hätten im Wesentlichen die signaturbasierende Erkennung von inaktiver Schadsoftware und eine zu geringe Zahl an Programmen geprüft.

Kritik erntete vor allem das Testverfahren. Die Tatsache, dass die Software – zumindest zeitweise – auf Rechnern ohne Internetzugang unter die Lupe genommen wurde, ist laut Hersteller und vielen Fachleuten von gestern – wenn nicht gar von vorgestern: So würden Programme, die stark auf die eigentlich veraltete, rein signaturbasierende Erkennung von Malware setzten unverhältnismäßig bevorzugt.

Moderne Antivirenlösungen dagegen, die cloud-basierende Elemente für die Erkennung heranziehen, würden stark benachteiligt. Damit erklärten zumindest McAfee, Symantec und auch Trend Micro ihr miserables Abschneiden im Testszenario der Stiftung Warentest. Andere, etwa Panda Software, hatten unter denselben Problemen zu leiden oder pflichteten, wie Kaspersky, trotz deutlich besserem Abschneiden der Kritik der Testverlierer weitgehend bei.

Der Anspruch: Testen wie im richtigen Leben

Unisono hieß es von den Herstellern, sie würden sich nicht per se gegen Kritik und schlechte Testergebnisse verwahren, verlangten aber nicht ein konstruiertes, wirklichkeitsfernes Szenario, sondern ein nachvollziehbares Testverfahren, dass der tatsächlichen Nutzung ihrer Produkte entspricht. Ebenso einhellig lobten sie das Magdeburger Labor AV-Test und die mit der dortigen Universität zusammenarbeitenden Prüfer von AV Comparatives in Innsbruck.

Letztere haben jetzt die Zusammenfassung ihrer mit Spannung erwarteten Ergebnisse für die Monate März bis Juni vorgelegt. ZDNet hat sie sich schon angeschaut und fasst die wichtigsten Erkenntnisse zusammen.

Für die qualitative Beurteilung von Malwarescannern haben die Innsbrucker das von ihnen als „Whole Product Dynamic Real-World Protection Test“ bezeichnete Szenario entwickelt. Darauf lohnt es sich kurz einzugehen, erhebt es doch den Anspruch, „aktuelle Sicherheitsprodukte direkt mit den bekannten und unbekannten Gefahren des Internets, auf die ein normaler Anwender beim täglichen Surfen stoßen könnte“ zu konfrontieren.

Zwei Aspekte offenbart der Test der Innsbrucker schon in seinem etwas sperrigen Namen: Erstens geht es um das gesamte Produkt, in der Regel also die von den Herstellern als „Internet Security Suite“ beworbenen Softwarepakete, und zweitens werden keine Einzelanalysen unter Laborbedingungen durchgeführt, etwa Scan-Tests, bei denen – etwas vereinfacht gesagt – der Software eine Festplatte voller Viren vorgesetzt wird, um zu ermitteln, welchen Anteil davon sie erkennt, oder sogenannte Performance-Tests, die lediglich ermitteln, in welchem Umfang die Sicherheitssoftware die Systemleistung des Rechner beeinträchtigt, auf dem sie läuft.

„Erst das Zusammenführen aller Testergebnisse, die ermittelt werden konnten, zeigt die wahre Leistungsfähigkeit einer Software. Die Beurteilung von Erkennungsrate, Performance, Rechnerbelastung und Fehlalarmen liefert unter Realbedingungen genaue Ergebnisse. Und sie erfasst Begleiterscheinungen, die möglicherweise in einem Laborcheck nicht zum Tragen kommen“, erklären die Österreicher in einer Presseaussendung zu ihren Tests.

Monatliche Tests, halbjährliche Ergebnisse

Seit März 2012 erfolgt der „Real-World Protection Test“ monatlich. AV-Comparatives verkürzte das Testintervall von quartalsweise auf monatlich, damit Verbesserungen, die die Hersteller aufgrund der gewonnen Messdaten durchaus vornehmen, zeitnah erfasst werden. Zweimal jährlich veröffentlicht AV Comparatives alle Ergebnisse in einem Bericht, der kostenlos auf der Webseite veröffentlicht wird.

Absichtlich publiziert AV Comparatives die monatlichen Ergebnisse allerdings nicht, sondern fasst die Ergebnisse mehrerer Monate zusammen. Damit will man vermeiden, dass Hersteller sich die Zahlen einzelner Monate herauspicken um kleine Unterschiede zu Werbezwecken aufzubauschen. Vom längeren Testzeitraum und der größeren Anzahl an Testdurchläufen im Berichtszeitraum verspricht sich das Labor die Eliminierung statistischer Anomalien. Oder anders gesagt: Patzer sind durchaus einmal erlaubt, aber auf die Dauer soll sich Qualität durchsetzen.

Aber dennoch vergibt AV Comparatives auch dann nicht einzelne Plätze, sondern fasst die getesteten Programme zu Clustern zusammen. Begründet wird das damit, dass die Produkte oft so nahe beieinanderliegen, dass es einen falschen Eindruck erwecken würde sie in eine Rangfolge zu bringen. Vielmehr werden jeweils die Besten mit dem Siegel Advanced+ ausgezeichnet, die nächste Gruppe erhält die Auszeichnung Advanced. Schlechter abgeschnittene müssen sich mit dem Vermerk Standard oder sogar Tested zufriedengeben.

Strafe für zu viele False Positives

Wobei „Tested“ durchaus noch als Anerkennung zu verstehen ist – hat sich doch der Hersteller dem Wettbewerb gestellt. Denn aufmerksamen Beobachter vermissen womöglich den einen oder anderen Anbieter im Testfeld. Viele Nutzer wundern sich etwa, warum Symantec mit seinen Norton-Produkten nicht vertreten ist. Den Grund dafür teilte AV Comparatives ZDNet auf Anfrage mit: Symantec habe nur unter der Bedingung teilnehmen wollen, dass man sich aussuchen kann, welche Tests durchgeführt werden, beziehungsweise den File Detection Test ausschließen wollen.

Das wiederum habe AV Comparatives nicht zulassen wollen: Der Test sei wichtig, um die Gesamtfähigkeiten eines Produkts zu zeigen, insbesondere wenn es um Malware geht, die nicht direkt aus dem Web kommt, sondern zum Beispiel versucht durch Mail-Anhänge, übers LAN oder Speichersticks auf den Rechner zu gelangen.

„Wir wissen, dass solche Tests nicht leicht zu bestehen sind, insbesondere wenn es darum geht, die Anzahl der False Positives zu minimieren. Aber da wir keinem Anbieter erlauben können bei einem der Kerntests zu passen, hat sich Symantec entscheiden, dieses Jahr nicht an unseren öffentlichen Tests teilzunehmen.“ Dass Symantec gerade in diesem Punkt kneifen wollte, lässt vermuten, dass sich der Hersteller einer diesbezüglichen Schwäche bewusst ist.

Update Inzwischen liegt ZDNet auch eine Stellungnahme von Stefan Wesche, Experte für die Norton-Sicherheitsprodukte bei Symantec, dazu vor. Er erklärt: „Symantec war schon immer ein starker Befürworter von unabhängigen „whole product“ oder „real-world“ Tests, die, die wirklichen Bedürfnisse der Benutzer wiederspiegeln und alle enthaltenen proaktiven Schutztechnologien der Produkte mit einbeziehen, insbesondere im Gegensatz zu „statischen“ Tests, die nur eine Komponente testen, wie zum Beispiel nur Signaturen.

Zur Zeit bietet AV-Comparatives leider keine Teilnahme an nur diesen realistischen „whole product“ oder “real-world” Tests an. Deswegen hat sich Symantec freiwillig entschieden, 2012 nicht an dem Testprogramm von AV-Comparatives teilzunehmen. Unsere Philosophie ist es, an allen Tests teilzunehmen, die für den Benutzer auch wirklich relevant und aussagekräftig sind und die auch deren tatsächliche Bedürfnisse für umfassenden Schutz gegen und die Säuberung infizierter Computer von sich ständig weiterentwickelten Online-Bedrohungen abbilden. Wir werden auch weiterhin solche Tests identifizieren, die diese Test-Standards zum Messen der Effektivität erfüllen und entsprechend daran teilnehmen.

Weil sich die Bedrohungslage verändert hat, haben sich auch unsere Schutz- und Reparaturtechnologien vervielfältigt und weiterentwickelt um eben gegen die vielen neuen Gefahren und Angriffe effektiv zu schützen. Deswegen aber ist es heutzutage auch nötig einen breiteren und umfassenderen Test Aufbau zu verwenden, der oft als „whole product“ oder „real world“ Test bezeichnet wird, um diesen angesprochenen verbesserten Schutz zu messen und dabei gleichzeitig auch den Benutzeralltag abzubilden. Zusätzlich befürworten wir natürlich auch Entfernungs- oder „clean-up“ Tests, wo ein bereits mit aktivem Schadcode infizierter Computer hergenommen wird und dann das Sicherheitsprodukt beweisen muss, wie gut es die Infektion wieder entfernen kann.“/Update

Denn diese False Positive – also fälschlicherweise als Malware erkannte, legitime Dateien – sind als Kriterium des Tests nicht zu unterschätzen, haben sie doch bei fünf der getesteten Lösungen dazu geführt, dass diese wegen einer zu hohen Anzahl an False Positives herabgestuft wurden: Wer also damit leben kann, dass seine Sicherheitslösung gelegentlich übervorsichtig ist, bekommt bei BullGuard, Avast, Sophos, Trend Micro, GFI und Fortinet einen besseren Schutz, als es das vergebene Siegel zunächst vermuten lässt. Symantec hätte also wahrscheinlich gut daran getan, an dem Test teilzunehmen: Es ist immer noch besser als etwas zu rigorose Sicherheitslösung bekannt zu sein, als sich dem Test zu entziehen und so Gerüchten über die eigene Leistungsfähigkeit Nahrung zu geben.

Testfeld und Testergebnisse im Überblick

Für den aktuellen Bericht (PDF) standen in den vergangenen vier Monaten 21 Produkte auf dem Prüfstand. Damit hat AV Comparatives auf alle Fälle eine für den Markt repräsentative Anzahl von Herstellern und Produkten geprüft. Darunter befinden sich – außer von Symantec und Microsoft – Produkte von allen im deutschen Markt relevanten Anbietern.

Zu beachten ist allerdings, welches Produkt die Hersteller jeweils ins Rennen geschickt haben: Beispielsweise mussten sich bei Avast und Panda die kostenfreien Produkte bewähren, Avira hat dagegen nicht das werbefinanzierte Produkt, sondern die Kaufversion Internet Security 2012 auf den Prüfstand stellen lassen. Das ist keine willkürliche Auswahl des Labors, sondern auf den Wunsch der Hersteller zurückzuführen.

Unterm Strich schnitten bei den Tests BitDefender Internet Security 2012, G Data Internet Security 2012, Kaspersky Internet Security 2012, F-Secure Internet Security 2012 und die vielen wahrscheinlich nicht bekannte, chinesische Software Quihoo 360 Internet Security 3.0 am besten ab. Sie erreichten alle eine „Schutzrate“ von über 99 Prozent und erhielten die Auszeichnung „AV Comparatives Advanced+“.

BullGuard Internet Security 2012 hätte die auch bekommen können, meldete aber zu viele False Positives und wurde daher auf „Advanced“ herabgestuft. Dieselbe Auszeichnung bekamen Eset Smart Security 5.0, Avira Internet Security 2012, AVG Internet Security 2012, Panda Cloud Free Antivirus 1.5.2, eScan Internet Security 11.0 und PC Tools Internet Security 2012.

Die Ergebnisse der Tests von Sicherheitsprodukten durch AV Comparatives im ersten Halbjahr 2012 im Überblick. Der komplette Bericht mit der ausführlichen Beschreibung des Testaufbaus und der Testmethoden steht Interessierten kostenlos als PDF zum Download zur Verfügung (Grafik: AV Comparatives).