Categories: Chatbots

Datensammlung für Trainingszwecke: Cloudflare blockiert KI-Bots

Cloudflare hat ein neues Tool vorgestellt, das KI-Bots daran hindern soll, Daten von Websites für das Training von großen Sprachmodellen (LLM) zu sammeln. Das Tool steht nach Angaben des Unternehmens auch den Kunden zur Verfügung, die über ein kostenloses Abonnement verfügen.

Mit der wachsenden Verbreitung von generativer KI benötigen Unternehmen Inhalte, um Chatbots zu trainieren. Viele wenden sich Web-Scrapern zu, die Text von Websites zur Analyse ziehen. Einige KI-Unternehmen räumen die Nutzung von Web-Scraping-Bots offen ein, andere wiederum nicht.

Cloudflare hatte bereits im September letzten Jahres eine Funktion veröffentlicht, mit der Benutzer „schlechte“ KI-Webcrawler blockieren können, also solche, die Websites ohne Erlaubnis scrapen. Natürlich fanden einige Unternehmen einen Weg, dies zu umgehen, indem sie Scraper einsetzten, die vorgaben, authentisch zu sein. Aus diesem Grund blockiert das neue Tool alle KI-Crawler, auch solche, die sich an das korrekte Protokoll für das Scrapen halten.

Im Juni 2024 griffen KI-Bots auf rund 39 Prozent der eine Million „Internet- Angebote“ zu, die Cloudflare nutzen, so das Unternehmen. Weniger als 3 Prozent dieser Websites hätten Maßnahmen ergriffen, um KI-Bots zu blockieren. Nach Angaben von Cloudflare waren die vier wichtigsten Bots, die Websites scrapen, Bytespider, Amazonbot, ClaudeBot und GPTBot.

Bytespider gehört zu Bytedance, dem Unternehmen, dem auch TikTok gehört, und wird verwendet, um Trainingsdaten für seine großen Sprachmodelle zu sammeln, einschließlich des ChatGPT-Rivalen Doubao. Amazonbot wird verwendet, um die Fragebeantwortungsseite von Alexa zu trainieren, ClaudeBot trainiert Claude AI, und GPTBot trainiert ChatGPT.

Das Tool ist ab sofort über das Dashboard von Cloudflare aktivierbar. Das Unternehmen kündigte an, die Funktion stetig weiterzuentwickeln und auf Anpassungen auf Seiten der KI-Bots zu reagieren.

Stefan Beiersmann

Stefan unterstützt seit 2006 als Freier Mitarbeiter die ZDNet-Redaktion. Wenn andere noch schlafen, sichtet er bereits die Nachrichtenlage, sodass die ersten News des Tages meistens von ihm stammen.

Recent Posts

Netzwerk-Portfolio für das KI-Zeitalter

Huawei stellt auf der Connect Europe 2024 in Paris mit Xinghe Intelligent Network eine erweiterte…

44 Minuten ago

Internet-Tempo in Deutschland: Viel Luft nach oben

Höchste Zeit für eine schnelle Kupfer-Glas-Migration. Bis 2030 soll in Deutschland Glasfaser flächendeckend ausgerollt sein.

2 Stunden ago

Erste Entwickler-Preview von Android 16 verfügbar

Schon im April 2025 soll Android 16 den Status Plattformstabilität erreichen. Entwicklern gibt Google danach…

2 Stunden ago

Kaspersky warnt vor Cyberangriff auf PyPI-Lieferkette

Die Hintermänner setzen KI-Chatbot-Tools als Köder ein. Opfer fangen sich den Infostealer JarkaStealer ein.

19 Stunden ago

Digitale Produkte „cyberfit“ machen

Vernetzte Produkte müssen laut Cyber Resilience Act über Möglichkeiten zur Datenverschlüsselung und Zugangsverwaltung verfügen.

19 Stunden ago

Google schließt schwerwiegende Sicherheitslücken in Chrome 131

Das jüngste Update für Windows, macOS und Linux stopft drei Löcher. Eine Anfälligkeit setzt Nutzer…

24 Stunden ago