Google veröffentlicht Developer Preview von TensorFlow Lite

Google will TensorFlow Lite als besonders leichtgewichtige Lösung etablieren, um maschinelles Lernen auf Mobilgeräten und Embedded-Systemen auszuführen. Es soll auf längere Sicht TensorFlow Mobile ersetzen – ist zunächst aber nur in einer Entwicklerversion verfügbar, die noch nicht für den produktiven Einsatz gedacht ist.

Google gab das Maschinenlernen-Framework TensorFlow 2015 unter der Apache-2.0-Lizenz frei. Es ist auf Plattformen von Server-Racks bis zu winzigen IoT-Geräten lauffähig. Der Internetkonzern selbst setzt die Technik in seinen Webanwendungen wie Fotos, Übersetzer und Suche ein. Da der Einsatz von Modellen für maschinelles Lernen in den letzten Jahren exponentiell zunahm, wuchs entsprechend auch der Bedarf für ihre Nutzung auf mobilen Geräten, begründet das TensorFlow-Team in einem Blogeintrag die Einführung der Lite-Version.

Die Runtime soll auf vielen verschiedenen Plattformen einzusetzen sein, beginnend mit Android und iOS. TensorFlow Lite ist für mobile Geräte optimiert, minimiert die Ladezeiten der Modelle und unterstützt Hardwarebeschleunigung. Um verfügbare Beschleuniger zu nutzen, setzt es auf die Android Neural Networks API, die ab Android 8.1 zur Verfügung steht.

Für eine solche Beschleunigung eignen sich Koprozessoren, wie sie in einigen aktuellen Smartphones bereits verbaut sind. So ergänzte Huawei im neuen Mate 10 Pro seinen 8-Kern-Prozessor Kirin 970 mit einer KI-Einheit, um neue mobile Anwendungen mit künstlicher Intelligenz zu ermöglichen. Googles Pixel 2 verfügt über den zusätzlichen Spezialchip Pixel Visual Core, der flexibel programmierbar ist und sich auch für maschinelles Lernen eignet. Ist keine Hardwarebeschleunigung verfügbar, versucht TensorFlow Lite durch optimierte CPU-Nutzung die schnelle Ausführung der Modelle auf einer Vielzahl von Geräten zu ermöglichen.

Für das Training der Modelle ist die Lite-Variante allerdings nicht gedacht, sondern nur für die als Inferencing bezeichnete Ausführung bereits trainierter Modelle mit einem Interpreter. Für erste Tests erhalten Entwickler mehrere trainierte und für die mobile Ausführung optimierte Modelle. TensorFlow Lite soll dabei mit Geschwindigkeit bei gleichzeitig stark verringertem Ressourcenbedarf punkten. Der Interpreter kann Operatoren selektiv laden und benötigt laut Google nur 70 KByte ohne geladene Operatoren – oder 300 KByte, wenn alle Operatoren geladen sind. TensorFlow Mobile hingegen benötigt mit einem üblichen Satz von Operatoren 1,5 MByte.

Tipp: Wie gut kennen Sie Google? Testen Sie Ihr Wissen – mit dem Quiz auf silicon.de.