KI als Entwicklerhilfe nicht ausgereift

Adam Smith, CEO und Gründer von Kite, einem Tool zur Codevervollständigung, sagt, dass maschinelles Lernen (ML) für die Codesynthese noch nicht für den praktischen Einsatz bereit ist. Das Unternehmen hat beschlossen, seine Arbeit einzustellen.

Das Startup aus San Francisco arbeitet seit 2014 an Tools zur automatischen Code-Vervollständigung für Entwickler in Python und JavaScript, um sich wiederholende Aufgaben beim Programmieren zu reduzieren. Smith gab in einem Blogpost das Ende von Kite bekannt. Er sagte, Kite sei auf 500.000 aktive Entwickler pro Monat angewachsen, aber das Unternehmen habe es nicht geschafft, das Produkt zu monetarisieren. „Wir haben es nicht geschafft, unsere Vision der KI-gestützten Programmierung zu verwirklichen, weil wir 10+ Jahre zu früh auf dem Markt waren, d.h. die Technologie ist noch nicht fertig“, schrieb er. „Wir haben es nicht geschafft, ein Geschäft aufzubauen, weil sich unser Produkt nicht rentiert hat, und es hat zu lange gedauert, das herauszufinden.“

Aktuelle Modelle verstehen Code-Struktur nicht

Smith deutet auch an, dass Kite vielleicht das Problem der zuverlässigen Codesynthese hätte lösen können, aber dafür wären 100 Millionen Dollar und mehr Ingenieure erforderlich gewesen. „Das größte Problem ist, dass die aktuellen Modelle die Struktur des Codes nicht verstehen, z. B. den nicht-lokalen Kontext. Wir haben einige Fortschritte auf dem Weg zu besseren Modellen für Code gemacht, aber das Problem ist sehr ingenieurintensiv. Es könnte über 100 Millionen Dollar kosten, ein serienreifes Werkzeug zu entwickeln, das in der Lage ist, Code zuverlässig zu synthetisieren, und das hat bisher noch niemand versucht“, so Smith.

Kite präsentierte sich als vielversprechende Alternative zu Microsofts Code-Vervollständigungstool IntelliSense, und 2019, als es noch nur die Code-Vervollständigung in Python unterstützte, sammelte es 19 Millionen Dollar in einer Series-A-Runde unter der Leitung von Trinity Ventures und mit persönlicher Beteiligung des damals neuen GitHub-CEO Nat Friedman. Aber 2020, als neue Konkurrenten wie TabNine das GPT-2 Large Language Model (LLM) von OpenAI für die sprachunabhängige Codevervollständigung nutzten, entschied sich Kite, sein Produkt unter Verwendung von GPT-2 neu zu entwickeln, um die automatische Vervollständigung für 11 weitere Sprachen zu unterstützen. Schließlich würde Kite auch eine Integration mit Microsofts beliebtem VS-Code-Editor entwickeln.

Verbesserung reicht nicht für den erforderlichen Durchbruch

Kite hat den größten Teil seines Codes auf Github veröffentlicht. Dazu gehören die datengesteuerte Python-Typ-Inferenz-Engine von Kite, der Python-Analysator für öffentliche Pakete, die Desktop-Software, Editor-Integrationen, der Github-Crawler und -Analysator und vieles mehr. Im Juni 2021 veröffentlichte Microsoft eine Vorschau auf eine VS-Code-Erweiterung, die OpenAI Codex anzapft, um GitHub Copilot zu erstellen. Im Juni 2022 wurde GitHub Copilot für 10 US-Dollar pro Entwickler und Monat oder 100 US-Dollar pro Nutzer und Jahr allgemein verfügbar. Smith sagte jedoch, dass die hochmoderne ML immer noch nicht gut genug ist.

„Wir haben die fortschrittlichste KI zur Unterstützung von Entwicklern zu dieser Zeit entwickelt, aber sie hat die 10-fache Verbesserung nicht erreicht, die für einen Durchbruch erforderlich ist, weil der Stand der Technik für ML im Code nicht gut genug ist. Dies lässt sich an Github Copilot ablesen, das von Github in Zusammenarbeit mit Open AI entwickelt wird. Ab Ende 2022 ist Copilot sehr vielversprechend, hat aber noch einen langen Weg vor sich“, schrieb er. Smith hofft jedoch, dass die Zukunft für diese Tools noch rosig ist. „Wir können nicht darauf warten, dass die KI die Programmierung revolutioniert. Computer sind so magisch; es wird erstaunlich sein, zu erleben, wie sich ihre Möglichkeiten schrittweise erweitern“.