Cloudflare hat ein neues Tool vorgestellt, das KI-Bots daran hindern soll, Daten von Websites für das Training von großen Sprachmodellen (LLM) zu sammeln. Das Tool steht nach Angaben des Unternehmens auch den Kunden zur Verfügung, die über ein kostenloses Abonnement verfügen.
Mit der wachsenden Verbreitung von generativer KI benötigen Unternehmen Inhalte, um Chatbots zu trainieren. Viele wenden sich Web-Scrapern zu, die Text von Websites zur Analyse ziehen. Einige KI-Unternehmen räumen die Nutzung von Web-Scraping-Bots offen ein, andere wiederum nicht.
Cloudflare hatte bereits im September letzten Jahres eine Funktion veröffentlicht, mit der Benutzer „schlechte“ KI-Webcrawler blockieren können, also solche, die Websites ohne Erlaubnis scrapen. Natürlich fanden einige Unternehmen einen Weg, dies zu umgehen, indem sie Scraper einsetzten, die vorgaben, authentisch zu sein. Aus diesem Grund blockiert das neue Tool alle KI-Crawler, auch solche, die sich an das korrekte Protokoll für das Scrapen halten.
Im Juni 2024 griffen KI-Bots auf rund 39 Prozent der eine Million „Internet- Angebote“ zu, die Cloudflare nutzen, so das Unternehmen. Weniger als 3 Prozent dieser Websites hätten Maßnahmen ergriffen, um KI-Bots zu blockieren. Nach Angaben von Cloudflare waren die vier wichtigsten Bots, die Websites scrapen, Bytespider, Amazonbot, ClaudeBot und GPTBot.
Bytespider gehört zu Bytedance, dem Unternehmen, dem auch TikTok gehört, und wird verwendet, um Trainingsdaten für seine großen Sprachmodelle zu sammeln, einschließlich des ChatGPT-Rivalen Doubao. Amazonbot wird verwendet, um die Fragebeantwortungsseite von Alexa zu trainieren, ClaudeBot trainiert Claude AI, und GPTBot trainiert ChatGPT.
Das Tool ist ab sofort über das Dashboard von Cloudflare aktivierbar. Das Unternehmen kündigte an, die Funktion stetig weiterzuentwickeln und auf Anpassungen auf Seiten der KI-Bots zu reagieren.
Erstmals liegen Preise für Verbraucher vor. Sie zahlen weniger als Geschäftskunden. Dafür beschränkt Microsoft den…
Die Entwickler arbeiten noch an weiteren „Verfeinerungen“. Windows Insider erhalten nun wohl eine erste Vorschau…
Laut Bitkom-Umfrage werden in jedem dritten Unternehmen in Deutschland private KI-Zugänge genutzt. Tendenz steigend.
2023 erlitten neun von zehn Unternehmen in der DACH-Region Umsatzverluste und Kurseinbrüche in Folge von…
Der Report „Pacific Rim“ von Sophos beschreibt Katz-und-Maus-Spiel aus Angriffs- und Verteidigungsoperationen mit staatlich unterstützten…
NVIDIA DGX SuperPOD soll voraussichtlich Mitte 2025 in Betrieb genommen und für Forschungsberechnungen genutzt werden.