Jünger per Mausklick

Die fotorealistische digitale Nachbearbeitung von Gesichtern in Videos wird in der Unterhaltungs- und Werbebranche immer häufiger eingesetzt. Der vorherrschende 2D-Malworkflow erfordert jedoch oft Bild für Bild manuelle Arbeit, die selbst für erfahrene Künstler Tage dauern kann. Obwohl die Forschung auf dem Gebiet des Re-Agings von Gesichtsbildern versucht hat, dieses Problem zu automatisieren und zu lösen, sind die derzeitigen Techniken von geringem praktischem Nutzen, da sie in der Regel unter dem Verlust der Gesichtsidentität, einer schlechten Auflösung und instabilen Ergebnissen bei nachfolgenden Videobildern leiden.

Sechs Forscher von Disney Research Schweiz stellten die erste praktische, vollautomatische und produktionsreife Methode für das Re-Aging von Gesichtern in Videobildern vor. Die erste wichtige Erkenntnis besteht in der Lösung des Problems, longitudinale Trainingsdaten zu sammeln, um das Re-Aging von Gesichtern über längere Zeiträume hinweg zu erlernen – eine Aufgabe, die für eine große Anzahl echter Menschen nahezu unmöglich zu bewältigen ist.

Disney zeigt, wie ein solcher Längsschnittdatensatz erstellt werden kann, indem sie den aktuellen Stand der Technik bei der Gesichtsalterung nutzen, der zwar bei realen Bildern versagt, aber bei synthetischen Gesichtern fotorealistische Alterungsergebnisse liefert.

Die zweite wichtige Erkenntnis besteht darin, diese synthetischen Daten zu nutzen und das Re-Aging von Gesichtern als eine praktische Bild-zu-Bild-Übersetzungsaufgabe zu formulieren, die durch das Training einer gut verstandenen U-Netz-Architektur durchgeführt werden kann, ohne dass komplexere Netzdesigns erforderlich sind. Disney demonstriert, wie das einfache U-Net überraschenderweise den Stand der Technik für die Wiederherstellung echter Gesichter auf Video mit beispielloser zeitlicher Stabilität und Erhaltung der Gesichtsidentität bei unterschiedlichen Ausdrücken, Blickwinkeln und Lichtverhältnissen verbessert.

Schließlich beinhaltet das neues Face Re-Aging Network (FRAN) einfache und intuitive Mechanismen, die den Künstlern lokale Kontrolle und kreative Freiheit zur Steuerung und Feinabstimmung des Re-Aging-Effekts bieten – eine Funktion, die in realen Produktionspipelines von großer Bedeutung ist und in verwandten Forschungsarbeiten oft übersehen wird.