Categories: Chatbots

Datensammlung für Trainingszwecke: Cloudflare blockiert KI-Bots

Cloudflare hat ein neues Tool vorgestellt, das KI-Bots daran hindern soll, Daten von Websites für das Training von großen Sprachmodellen (LLM) zu sammeln. Das Tool steht nach Angaben des Unternehmens auch den Kunden zur Verfügung, die über ein kostenloses Abonnement verfügen.

Mit der wachsenden Verbreitung von generativer KI benötigen Unternehmen Inhalte, um Chatbots zu trainieren. Viele wenden sich Web-Scrapern zu, die Text von Websites zur Analyse ziehen. Einige KI-Unternehmen räumen die Nutzung von Web-Scraping-Bots offen ein, andere wiederum nicht.

Cloudflare hatte bereits im September letzten Jahres eine Funktion veröffentlicht, mit der Benutzer „schlechte“ KI-Webcrawler blockieren können, also solche, die Websites ohne Erlaubnis scrapen. Natürlich fanden einige Unternehmen einen Weg, dies zu umgehen, indem sie Scraper einsetzten, die vorgaben, authentisch zu sein. Aus diesem Grund blockiert das neue Tool alle KI-Crawler, auch solche, die sich an das korrekte Protokoll für das Scrapen halten.

Im Juni 2024 griffen KI-Bots auf rund 39 Prozent der eine Million „Internet- Angebote“ zu, die Cloudflare nutzen, so das Unternehmen. Weniger als 3 Prozent dieser Websites hätten Maßnahmen ergriffen, um KI-Bots zu blockieren. Nach Angaben von Cloudflare waren die vier wichtigsten Bots, die Websites scrapen, Bytespider, Amazonbot, ClaudeBot und GPTBot.

Bytespider gehört zu Bytedance, dem Unternehmen, dem auch TikTok gehört, und wird verwendet, um Trainingsdaten für seine großen Sprachmodelle zu sammeln, einschließlich des ChatGPT-Rivalen Doubao. Amazonbot wird verwendet, um die Fragebeantwortungsseite von Alexa zu trainieren, ClaudeBot trainiert Claude AI, und GPTBot trainiert ChatGPT.

Das Tool ist ab sofort über das Dashboard von Cloudflare aktivierbar. Das Unternehmen kündigte an, die Funktion stetig weiterzuentwickeln und auf Anpassungen auf Seiten der KI-Bots zu reagieren.

Stefan Beiersmann

Stefan unterstützt seit 2006 als Freier Mitarbeiter die ZDNet-Redaktion. Wenn andere noch schlafen, sichtet er bereits die Nachrichtenlage, sodass die ersten News des Tages meistens von ihm stammen.

Recent Posts

Microsoft nennt weitere Details zu kostenpflichtigen Patches für Windows 10

Erstmals liegen Preise für Verbraucher vor. Sie zahlen weniger als Geschäftskunden. Dafür beschränkt Microsoft den…

12 Stunden ago

Microsoft verschiebt erneut Copilot Recall

Die Entwickler arbeiten noch an weiteren „Verfeinerungen“. Windows Insider erhalten nun wohl eine erste Vorschau…

1 Tag ago

GenKI im Job: Mitarbeitende schaffen Tatsachen

Laut Bitkom-Umfrage werden in jedem dritten Unternehmen in Deutschland private KI-Zugänge genutzt. Tendenz steigend.

1 Tag ago

97 Prozent der Großunternehmen melden Cyber-Vorfälle

2023 erlitten neun von zehn Unternehmen in der DACH-Region Umsatzverluste und Kurseinbrüche in Folge von…

1 Tag ago

„Pacific Rim“-Report: riesiges, gegnerisches Angriffs-Ökosystem

Der Report „Pacific Rim“ von Sophos beschreibt Katz-und-Maus-Spiel aus Angriffs- und Verteidigungsoperationen mit staatlich unterstützten…

2 Tagen ago

DeepL setzt erstmals auf NVIDIA DGX SuperPOD mit DGX GB200-Systemen

NVIDIA DGX SuperPOD soll voraussichtlich Mitte 2025 in Betrieb genommen und für Forschungsberechnungen genutzt werden.

2 Tagen ago