Die Schuber mit den Heften der Stiftung Warentest stehen in vielen deutschen Haushalten gleich neben der Bibel und dem „Großen Brockhaus“ an prominenter Stelle im Wohnzimmerschrank. Den darin veröffentlichten Tests wird von den Besitzern dieselbe Glaubwürdigkeit zugesprochen: Sie sehen darin ein Leuchtfeuer ehrlicher, unbeeinflusster Verbraucheraufklärung in einer immer korrupter werdenden Welt von Gefälligkeitsschreiberlingen.
Aber das Bild bekommt langsam auch bei den treuesten Anhängern Risse: Zumindest im IT-Bereich gehen die Testszenarien und -kriterien und damit dann auch die Ergebnisse immer häufiger meilenweit an der Realität vorbei. Jüngstes Beispiel: Der heute veröffentlichte Test von 18 Antiviren-Programmen. Von den Getesteten sind nur vier als „gut“ eingestuft worden. Laut Warentest war keines der Sicherheitspakete in der Lage, alle Schädlinge zu finden. Die beiden besten Programme ermittelten 96 Prozent, das schlechteste nur 36 Prozent.
Das wäre soweit auch in Ordnung – wenn denn der Test ordentlich verlaufen wäre. Die Tester, Gerüchten zufolge ein italienisches Testlabor, nicht die Stiftung Warentest selbst, hatten 1800 Schadprogramme auf ihren Geräten versteckt. Die Viren und Trojaner wurden auf identische virtualisierte Windows-7-Systeme aufgespielt. Darauf liefen zusätzlich einige alltagstypische Anwendungen. Der Virenschutz floss zu 40 Prozent in die Gesamtbewertung ein, die Leistung der Firewall zu 10 Prozent, die Handhabung zu 30 Prozent und die Rechnerbelastung zu 20 Prozent.
Viele offene Fragen
Schon mit diesen wenigen Angaben tun sich viele Fragen auf: Beispielsweise, warum so eine geringe Anzahl an Malware zum Test genutzt wurde, warum ein virtualisiertes System verwendet wurde oder wieso beim Test auf eine Internetanbindung des Rechners weitgehend verzichtet wurde.
„Wenn man sich den Test genauer anschaut, stellt man fest, dass es im Wesentlichen um die signaturbasierende Erkennung von inaktiver Schadsoftware ging“, sagt etwa Stefan Wesche, Experte für die Norton-Sicherheitsprodukte bei Symantec, auf Anfrage gegenüber ZDNet. „Das kann man testen, man sollte aber nicht den Fokus darauf legen.“ Er vermutet, dass es sich bei den verwendeten Viren um älteren Schadcode handelte, für den es schon Signaturen gibt. Allerdings greife gut 75 Prozent des weltweit verbreiteten Schadcodes heute weniger als 50 Nutzer an. Eine in erster Linie auf Virensignaturen basierende Erkennung sei daher nicht sinnvoll.
Toralv Dirro, Security Strategist bei McAfee Europa, sieht zudem die aus seiner Sicht geringe Zahl an geprüften Programmen als Problem: „Wir finden täglich mindestens 45.000 neue Malware-Samples. Über alle Hersteller hinweg sind Erkennungsraten von 98 Prozent in anderen Tests festgestellt worden. Nimmt man wie die Stiftung Warentest nur 4 Prozent der täglich neu auftretenden Malware, dann ist allein aus Gründen der Statistik eine wirklich valide Aussage nicht möglich.“
Ähnlich argumentiert auch Raimund Genes, CTO bei Trend Micro: Sein Unternehmen fände täglich an die 70.000 neue Schadprogramme (der Unterschied zu McAfee erklärt sich auch durch unterschiedliche Zählweisen der einzelnen Hersteller) und erstelle rund 60.000 Signaturen.
Einig sind sich Genes und Dirro darin, dass gar nicht klar sei ob alle als „Malware“ bezeichneten Programme diese Definition überhaupt erfüllen, ob es sich überhaupt um funktionierende Malware handle und warum beim Test nur deren Kopiervorgang überprüft worden sei, nicht was passiere, wenn sie ausgeführt würden. Ihrer Ansicht nach kam das Testszenario damit den Herstellern entgegen, die sehr großzügig aussortieren, also eine hohe Zahl sogenannter „False Positives“ in Kauf nehmen.
Getestet wie vor zehn Jahren
Aber all das sind Nebenkriegsschauplätze. Der Hauptkritikpunkt ist, dass quasi ohne Internetzugang getestet wurde. Bestandteil moderner Erkennungstechnik sei es heute jedoch, das Internet einzubeziehen, etwa mit verhaltensbasierenden Schutzmaßnahmen und Reputationsdatenbanken. Das steht sowohl für Genes als auch Dirro und auch für den Symantec-Experten Stefan Wesche fest. Seiner Ansicht nach ist es heute weder zeitgemäß noch praxisnah, Antivirenlösungen ohne Webanbindung zu testen: „Eigentlich hat man den Test so durchgeführt, wie man das im vergangenen Jahrhundert getan hätte.“
Dieser Kritik schließt sich auch Raimund Genes, Vizepräsident bei Trend Micro, an. „Wir haben Virus Bulletin schon 2008 boykottiert, weil die ohne Internet getestet haben. Das war damals schon nicht zeitgemäß und ist es inzwischen noch viel weniger.“ Seiner Ansicht nach haben in dem Test insbesondere die traditionell arbeitenden Anbieter gut abgeschnitten – diejenigen, die „nicht in moderne Methoden der Malwareerkennung investiert haben.“ Auch da gibt im McAfee-Spezialist Dirro Recht: „So wie getestet wurde, hat man das vor zehn Jahren gemacht. Heute macht das keinen Sinn mehr. Warum wurde beispielsweise der Echtzeitschutz anders gewertet als ein Scan?“ In allen anderen Tests fielen zudem die Unterschiede zwischen den beiden Scan-Varianten bei weitem nicht so deutlich aus wie jetzt bei der Stiftung Warentest.
Einig sind sich Genes, Dirro und Wesche darin, dass der Wert des Tests insgesamt äußerst gering ist. Ihrer Ansicht nach seien sowohl die regelmäßigen Tests von AV-Test in Magdeburg als auch die von AV Comparatives aus Innsbruck wesentlich praxisnäher und aussagekräftiger. „Bei denen kann man auch damit leben, wenn man einmal schlecht abschneidet, denn man kann nachvollziehen, warum das so ist“, so Genes. Dirro nennt zudem die AV-Tests der nordamerikanische NSS Group noch als zuverlässige Quelle.
Vielleicht sollte die Stiftung Warentest dem Beispiel der meisten PC-Zeitschriften und -portale folgen und in Zukunft auf Erkennungstests von Antivirenlösungen ganz verzichten. Der dafür zu betreibende Aufwand ist inzwischen einfach so hoch, dass es sich nur noch für Spezialisten lohnt, ihn zu betreiben. Denn ohne mit zahlreichen Rechnern gleichzeitig auf dieselben Seiten zuzugreifen, ohne die immer komplexer werdenden Verlockungen der Cyberkriminellen aus der Sicht eines Anwenders zu sehen, ohne Schadcode tatsächlich auszuführen und zu sehen, welche Lösung den Vorgang rechtzeitig abbricht und welche ihn nicht bemerkt, sind sich solche Tests heute nur noch wenig aussagekräftig. Und sie sind das Papier nicht wert, auf dem sie gedruckt sind.
Update 30. März 18 Uhr 10: Die Stiftung Warentest hat sich inzwischen zu den Angriffen durch die Hersteller geäußert. Sie weist sie durchweg zurück. Ein Teil der berechtigt scheinenden Kritik am Testbericht lässt sich demnach wohl durch die Diskrepanz von an Verbraucher gerichteter Berichterstattung in der Zeitschrift „test“ und Erwartungen von Experten an die Detailtiefe in einem Testbericht erklären.
Kostenlose Antiviren-Tools zum Download:
Neueste Kommentare
15 Kommentare zu Stiftung Warentest: Antiviren-Programme im Pseudo-Test
Kommentar hinzufügenVielen Dank für Ihren Kommentar.
Ihr Kommentar wurde gespeichert und wartet auf Moderation.
habe mir ja gaaanz viele testberichte angeschaut und druchgelesen,,,,
bin beim avg durch http://www.netzsieger.de/k/antivirus gestoßen….und da kann mir jeder was vom lilanem himmel erzählen xD für mich is AVG der sieger unter de antivirenprogrammen
In der Überschrift steht etwas von Pseudo- Test und untermauert wird dies mit vagen Vermutungen vom Hörensagen.
Nach welcher Norm hätten man den Ihrer erlauchten Meinung gehen müssen ? Was hätte das gebracht ? Der Test ,also auch die Bewertungskritierien waren transparent – und so für jeden nachvollziehbar. Was man jeder einzelne daraus zieht ist wohl ihm überlassen. Die Behauptung das ohne Internetzugang getestet wurde, sollte man vielleicht mal spezifizieren. Es wurden lediglich unsichere Clouddatenbannken, die bei einem Virus der das Netzt aushebeln würde, nicht berücksichtig.
Etwas einseitige Berichterstattung ??
Interessant wäre jetzt noch, was die Stiftung Warentest dazu geschrieben hat?! Und warum die insgesammt süffisante schreibweise?
Einige der Hersteller waren sogar im Fachbeirat zum Test, haben das Prüfprogramm mit abgesegnet und gehen jetzt auf die Barrikaden… evtl wegen des für sie schlechten Ergebnisses?!
Hallo,
was die Stifting Warentest dazu zu sagen hat, haben wir bei ZDNet ebenfalls aufgegriffen: http://www.zdnet.de/news/41561347/antivirentest-stiftung-warentest-wehrt-sich-gegen-herstellerkritik.htm
Außerdem gibt es eine ausführliche Stellungnahme der Stiftung Warentest auf ihrer Website: https://www.test.de/Antivirenprogramme-Stiftung-Warentest-verteidigt-Test-4360733-4360735/
Außerdem liegt inzwischen ein Offener Brief von acht Anbietern vor (nicht nur denen, die im Test schlecht abgeschnitten haben). Darin wird die Kritik näher erläutert: http://www.zdnet.de/news/41561398/sicherheitsanbieter-schicken-stiftung-warentest-einen-offenen-brief.htm
Peter Marwan
ZDNet-Redaktion
In der Überschrift steht etwas von Pseudo- Test. Untermauert wird dies erst einmal mit vagen Vermutungen.
Welche Norm, respektive Sandart hätte man den anlegen müssen ? Was hätte dies gebracht ? Der Test,also auch die Bewertungskritierien waren transparent – und so für jeden nachvollziehbar. Was nun jeder einzelne daraus zieht, ist wohl ihm überlassen. Die Behauptung das ohne Internetzugang getestet wurde, sollte man vielleicht mal etwas genauer recherchieren.
Zitat Stiftung Warentest :
„Der Test entspricht aktuellen Erkenntnissen. Die Stiftung Warentest hat den Virenschutz nicht – wie vielfach behauptet – nur offline, sondern online und offline geprüft und bewertet. Bei den meisten Produkten im Test macht es interessanterweise kaum einen Unterschied, ob der Rechner mit dem Internet verbunden ist oder nicht. Die Programme erkennen in beiden Fällen ähnlich viele Schädlinge. Grund: Die Listen mit den Virensignaturen liegen auf dem Rechner. Einige Programme lagern die Signaturlisten jedoch auf Cloud-Servern im Internet. Ohne Internetverbindung erkennen diese Programme deutlich weniger Schädlinge. Das bewerten die Tester kritisch. Ein gutes Virenprogramm soll sowohl online als auch offline zuverlässig funktionieren. Schließlich sind nicht alle Rechner pausenlos online – zum Beispiel in der Bahn, im Flugzeug oder im Ausland. Oder weil der Nutzer keine Flatrate hat. Das Internet ist zwar der wichtigste, aber nicht der einzige Infektionsweg.“
– Da kann man wohl nur zustimmen.
Das die Antiverensoftwarehersteller dadurch verstimmt und um ausreden nicht verlegen sind, war zu erwarten. Den ob man es glaubt oder nicht, die wollen verkaufen.
Durch solche schlecht recherchierten und einseitige Artikel, macht man sich nur selbst unglaubwürdig. Wenn ich die Bild lesen möchte, dann mache ich das auch.
Glaubwürdigkeit Stiftung Warentest
Wir haben bereits vor Jahren die Glaubwürdigkeit von Testberichten der Stiftung Warentest verneint, da einige Ergebnisse unseren professionellen Erfahrungen im IT-Bereich deutlich widersprachen.
Dabei ging es zumeist um Hardware-Komponenten.
Michael Kirch
stiftung warentest
Es war doch immer schon so, dass die Tests der Stiftung Warentest fachlich völlig unzureichend waren. Schon vor 20 Jahren schnitten dort beispielsweise sehr schlecht klingende Hi-Fi-Produkte mit guten Noten ab. Da fällt wohl die Fachkundigkeit der Vielseitigkeit zum Opfer.
Ein voreingenommener, unausgereifter Artikel
Interessant, dass die Redaktion der Stiftung Warentest vorwirft, schlechte Tests zu machen und dann selber derart schlechte Artikel voll voreingenommener Meinungsmache schreibt. Wenn man Anti-Malware-Hersteller fragt, die bei dem Test nicht unbedingt gut wegkommen, wird man mit Sicherheit keine Lobeshymnen auf derartige Testergebnisse als Statements bekommen.
Nach allem was ich bisher gelesen habe, ist das Testszenario der Stiftung Warentest durchaus logisch und nachvollziehbar aufgebaut gewesen und sogar in einer gemeinsamen Runde unter Beteiligung der Antiviren-Hersteller selbst verabschiedet worden.
Ich würde wirklich drum bitten, solch voreingenommene Berichterstattung in Zukunft zu unterlassen. Sie wirkt arrogant wie aus den alten Tagen der IT, als die klugen Köpfe sich gegenseitig auf die Schulter geklopft haben, und alle „fachfremden“ insgeheim als Deppen abgewertet haben.
Hallo,
zu Ihrem Vorwurf der „voreingenommenen Berichterstattung“: Als der Test veröffentlicht wurde, hielten wir es für interessant, nicht nur treudoof dessen wichtigsten Ergebnisse abzudrucken, sondern die am schlechtesten bewerteten Firmen (die ja immerhin zu denen mit dem größten Umsatz in dem Marktsegment zählen) zu fragen, womit sie sich ihr schlechtes Abschneiden erklären. Wichtigster Kritikpunkt ist ja trotz vieler anderer Details die mangelnde Transparenz. Die werfen der Stiftung Warentest übrigens nicht nur Antivirenhersteller vor, sondern auch Anbieter anderer IT-Produkte. Die trauten sich allerdings bisher – wohl wegen der als unanfechtbar erachteten Position der Stiftung Warentest – nicht, so massive Kritik zu äußern. Der Verweis der Hersteller auf die Tests von AV-Test und AV Comparatives (wo die zitierten Hersteller übrigens auch nicht immer glänzend abschneiden, siehe hier: http://www.zdnet.de/magazin/41559956/safer-internet-day-das-sind-die-besten-antiviren-programme.htm ) zeigt doch, dass es nicht in erster Linie um die Bewertung im Detail, sondern die Testmethode geht.
Inzwischen liegt übrigens ein Offener Brief von acht Anbietern vor (nicht nur denen, die im Test schlecht abgeschnitten haben) : http://www.zdnet.de/news/41561398/sicherheitsanbieter-schicken-stiftung-warentest-einen-offenen-brief.htm Darin wird die Kritik näher erläutert. Außerdem gibt es eine ausführliche Stellungnahme der Stiftung Warentest: https://www.test.de/Antivirenprogramme-Stiftung-Warentest-verteidigt-Test-4360733-4360735/
Peter Marwan
ZDNet-Redaktion
AW: Stiftung Warentest: Antiviren-Programme im Pseudo-Test
Und was soll ein „genormter“ Test bringen? Genau -> NICHTS. Das ist dann wie bei den Autoherstellern, die den Standard Auto-Crash-Test mit Bravour meistern und im echten Crash die Insassen sterben…..
Also ich finde dass Stiftung Warentest sich unvoreingenommen an seine eigenen Test halten sollte. Die AV Hersteller sollten lieber Ihre Programme so schreiben, dass sie auch „unerwarteten“ Tests wiederstehen können. Die Malware-Programmierer halten sich schließlich auch nicht an ein Standard Zenario sondern suchen eher das Unerwartete, um genau solche Software auszuhebeln.
Den Bericht halte ich auch für rein abgeschrieben. Etwas mehr Eigeninitiative seitens ZDNET wäre wünschenswert.
Komische Stellungnahme der Hersteller
Ist schon komisch – die Verlierer beschweren sich immer, vor allem diejenigen, die in allen Tests schlecht abschneiden. Kann mich nicht daran erinnern, dass Trend Mcior oder McAffe in den vergangenen Jahren auch nur einen Blumentopf gewonnen hätten. An Stiftung Warentest gibt es nichts zu rütteln – sind nicht werbefinaziert!
Peter
AW: Stiftung Warentest: Antiviren-Programme im Pseudo-Test
Hallo,
heute haben acht Anbieter (und nicht nur die, die im Test schlecht abgeschnitten haben) sowie Andreas Marx von AV-Test einen offenen Brief an die Stiftung Warentest veröffentlicht: http://www.zdnet.de/news/41561398/sicherheitsanbieter-schicken-stiftung-warentest-einen-offenen-brief.htm
Ich denke, es bleibt abzuwarten, was daraufhin geschieht. Es sieht aber so aus, als ob branchenweit Zweifel am Test vorhanden sind.
Peter Marwan
ZDNet-Redaktion
AW: Stiftung Warentest: Antiviren-Programme im Pseudo-Test
Trotzdem kommt es dem geneigten Leser sonderbar vor: inallen grösseren PC-Sites dergleiche Wortlaut – und fast wortgleich von der Veröffentlichung der AV-Hersteller abgeschrieben. Da haben wohl die Werbekunden etwas Druck gemacht…
Hallo gimper!
Als der Test veröffentlicht, wurde hielten wir es für interessant, nicht nur dessen wichtigsten Ergebnisse abzudrucken, sondern die am schlechtesten bewerteten Firmen (die ja immerhin zu denen mit dem größten Umsatz in dem Marktsegment zählen) zu fragen, womit sie sich ihr schlechtes Abschneiden erklären. Daraus entstand dieser Beitrag.
Dass sie den Eindruck haben, es werde „abgeschrieben“, liegt vielleicht daran, dass ein „Offener Brief“ von acht Anbietern vorliegt (nicht nur denen, die im Test schlecht abgeschnitten haben): http://www.zdnet.de/news/41561398/sicherheitsanbieter-schicken-stiftung-warentest-einen-offenen-brief.htm
Darin wird die Kritik näher erläutert. So ein provozierender „Offener Brief“ wird natürlich, wenn darüber berichtet wird, in Auszügen oder komplett wörtlich zitiert (zum Beispiel so, wie gestern in den ARD-Tagesthemen das Gedicht von Herrn Grass). Manche machen dies vielleicht mehr, andere weniger deutlich kenntlich. Bei ZDNet findet er sich im Originalwortlaut, damit sich jeder sein eigenes Bild machen kann. Ähnliches ist übrigens mit der ausführlichen Stellungnahme der Stiftung Warentest geschehen. Das Original finden Sie hier: https://www.test.de/Antivirenprogramme-Stiftung-Warentest-verteidigt-Test-4360733-4360735/ Bei ZDNet haben wir diese Stellungnahme nicht mehr extra aufgegriffen, da wir schon am Freitag ausführlich mit dem für den Test Verantwortlichen Mitarbeiter gesprochen hatten: http://www.zdnet.de/news/41561347/antivirentest-stiftung-warentest-wehrt-sich-gegen-herstellerkritik.htm
Peter Marwan
ZDNet-Redaktion
AW: Stiftung Warentest: Antiviren-Programme im Pseudo-Test
Ich kann die Kritik der Hersteller nachvollziehen.
Das Kopieren, einer signaturbelasteten Datei ist nun wirklich ein Schwachsinnsszenario.
Auch dass die Malware 2-3 Monate alt ist, ist kompletter Unsinn.
Viel interessanter ist doch der heuristische Echzeitschutz im Internet.
Meine persönliche Statistik mit ca 100 Virenverseuchten Rechnern in den letzten 3 Jahren führt AVira mit ca 70% bei weitem an.
AVira ist einfach nicht in der Lage, ein gut gemachtes Rootkit zu verhindern.
Ergo blieb in den meisten Fällen nur Datenrettung und OS neu aufsetzen.
Eset hingegen hat bei jedem befallenem Rechner sofort Alarm ausgelöst.
Hilft nicht mehr beim Rootkit, hätte aber vorher geholfen.
Den tip, dass Freeware AV mit Windows Bordmitteln reicht halte ich für äusserst gefährlich.
Da sollte man dann keinen wichtigen Daten auf dem Rechner haben, kein Online-Banking betreiben und die Installations CD schonmal auf den Rechner legen.
Wann wird denn die Überschrift geändert?
Die Antwort der Stiftung Warentest relativiert ja nun die Behauptung, es handele sich um einen Pseudotest. Wäre da nicht mindestens ein Fragezeichen in der Überschrift angesagt? Oder kostet das dann zu viele Klicks?
AW: Stiftung Warentest: Antiviren-Programme im Pseudo-Test
Hallo,
es besteht in der Sache wohl noch erheblicher Klärungsbedarf. Heute haben acht Anbieter (und nicht nur die, die im Test schlecht abgeschnitten haben) und Andreas Marx von AV-Test einen offenen Brief an die Stiftung Warentest veröffentlicht: http://www.zdnet.de/news/41561398/sicherheitsanbieter-schicken-stiftung-warentest-einen-offenen-brief.htm
Peter Marwan
ZDNet-Redaktion
AW: Stiftung Warentest: Antiviren-Programme im Pseudo-Test
AV-Comparatives hat heute die Ergebnisse veröffentlicht:
http://www.av-comparatives.org/en/comparativesreviews/detection-test
http://www.av-comparatives.org/en/comparativesreviews/dynamic-tests