LLMs in Unternehmen: Große Mehrheit setzt auf Open Source

Beim Einsatz von LLMs entscheiden sich Unternehmen sehr häufig für Open Source. Laut dem aktuellen Bericht State of Data & AI von Databricks liegt der Anteil bei 76 Prozent. Die Studie zeigt auch, dass KI die Testphase hinter sich gelassen hat und im Produktionsbetrieb angekommen ist.

Der Untersuchung zufolge wurden im Jahr 2023 11 Mal mehr KI-Modelle in Betrieb genommen: Im Durchschnitt wurden Unternehmen mehr als dreimal effizienter bei der Überführung von Modellen in den Produktionsbetrieb. Die Verarbeitung natürlicher Sprache (Natural Language) ist die meistgenutzte und am schnellsten wachsende Anwendung für maschinelles Lernen.

Retrieval Augmented Generation

Außerdem sollen 70 Prozent der Unternehmen, die GenAI nutzen, Tools und Vektordatenbanken verwenden, um die Basismodelle zu erweitern: Unternehmen konzentrieren sich demnach stark auf die Anpassung von LLMs mit ihren eigenen Daten durch Retrieval Augmented Generation (RAG). RAG erfordert laut Databricks bestimmte Vektordatenbanken, deren Nutzung um 377 Prozent im Vergleich zum Vorjahr gestiegen sind (einschließlich Open-Source- und geschlossenen LLMs).

Databricks fand auch heraus, dass 76 Prozent der Unternehmen, die LLMs nutzen, sich für Open Source oft neben proprietären Modellen entscheiden: Nur vier Wochen nach der Markteinführung machte Meta Llama 3 bereits 39 Prozent aller Open-Source-Modelle aus. Stark regulierte Branchen seien die überraschenden ersten GenAI-Anwender. Der Finanzdienstleistungssektor, der bei der GPU-Nutzung führend sei, habe sich am schnellsten entwickelt mit einem Wachstum von 88 Prozent innerhalb von sechs Monaten.

Experimentelles Testen der Modelle

„Unternehmen erstellen ihre Machine Learning (ML)-Modelle zunächst durch experimentelles Testen. Sie probieren verschiedene Algorithmen und Hyperparameter aus, um die besten Modelle zu finden, bevor sie diese in den Produktionsbetrieb geben“, teilte Databricks mit. „In diesem Prozess verfolgen die Teams zwei konkurrierende Ziele: Sie müssen sicherstellen, dass die Experimentierphase so zeiteffizient wie möglich ist und gleichzeitig nur streng getestete Modelle in Produktion geben.“

Der Bericht enthält auch eine Rangliste der zehn am häufigsten verwendeten Daten- und KI-Produkte. Neun von zehn sind Open-Source-Produkte. Der Grund dafür ist laut Databricks, dass Unternehmen dazu neigen, mehr Flexibilität zu wählen und gleichzeitig proprietäre Mauern und Einschränkungen zu vermeiden.