Facebook stellt Video-Tool unter Open Source

Facebook hat neue Video-Codierungstechniken für 360-Grad-Videos und Virtual Reality vorgestellt. Den Quellcode des Filters, der 360-Grad-Videos in ein Würfelformat überträgt, stellt das Social Network zudem unter einer Open-Source-Lizenz zur Verfügung. Der Filter soll vor allem 360-Grad-Videos für den News Feed optimieren, indem er die Dateigröße um 25 Prozent gegenüber dem Original senkt.

„Bei der Entwicklung von 360-Grad-Videos für den News Feed sind wir auf verschiedene technische Herausforderungen gestoßen“, heißt es in einem Blogeintrag von Evgeny Kuzyakov und David Pio auf Facebook Code. „Unser wichtigstes Ziel war, die Nachteile einer Standard-Rektangularprojektion auszugleichen, die den Bereich um den Nutzer herum flach auf einer 2D-Oberfläche darstellt. Dieses Layout verzerrt Bilder und enthält überflüssige Informationen am oberen und unteren Bildrand – so wie die Antarktis auf einer Weltkarte als langgezogene Landmasse erscheint.“

Facebook habe sich deswegen für ein würfelförmiges Layout entschieden, so die Entwickler weiter. Dabei würden die oberen und unteren 25 Prozent des Videos jeweils auf eine Würfelseite übertragen. Die mittleren 50 Prozent teile der Filter auf die restlichen vier Würfelseiten auf und ordne sie schließlich in zwei Reihen an. Ein weiterer Vorteil dieser Technik ist laut Facebook, dass die Seiten des Würfels nicht verzerrt werden. Das sei besonders wichtig, da Videocodecs stets davon ausgingen, dass Bewegungsvektoren gerade verliefen. Der auf GitHub veröffentlichte Filter liegt als Plug-in für das FFmpeg-Projekt vor. Damit lassen sich 360-Grad-Videos von einem Plattkarten-Layout in das Würfel-Layout übertragen.

Für Virtual Reality geht Facebook allerdings einen anderen Weg. Hier sei die Dateigröße die größte Herausforderung, ergänzten die Entwickler. Samsungs Virtual-Reality-Brille GearVR unterstütze beispielsweise eine 6K-Auflösung pro Auge. Ein 6K-Stereo-Video sei mit einer Bitrate von durchschnittlich 245 MBit/s rund 20-mal größer als ein Full-HD-Video. Zudem könnten viele mobile Geräte nur 4K-Videos wiedergeben.

Dieses Problem löst Facebook, indem es nur den Teil eines 360-Grad-Videos überträgt, den ein Nutzer auch tatsächlich sehen kann. Dadurch soll die tatsächliche Auflösung auf unter 4K sinken. Für Virtual Reality ist das View-Dependent Streaming genannte Verfahren jedoch nicht geeignet, weil es nicht schnell genug auf Kopfbewegungen und damit Änderungen des Blickwinkels reagieren kann – dort reicht es nicht, nur das sichtbare Bild zu übertragen.

Dafür setzt Facebook auf ein pyramidenförmiges Video-Layout. Auf den Boden der Pyramide projiziert Facebook ein Bild in voller Auflösung, während die Qualität an den Seiten schrittweise abnimmt – bis zu dem Punkt, der direkt hinter dem Betrachter liegt. „Wir können die Seiten aufklappen und sie leicht dehnen, bis das gesamte Bild in einen rechteckigen Rahmen passt, was die Verarbeitung leichter macht und die Dateigröße gegenüber dem Original um 80 Prozent reduziert“, schreiben die Entwickler.

Bewegt ein Nutzer einer VR-Brille seinen Kopf, blickt er jedoch nicht auf eine andere Seite der Pyramide – stattdessen wechselt er den Blickpunkt. Ein 360-Grad-Video rechnet Facebook dafür von der Rektangularprojektion auf 30 Blickpunkte mit je fünf verschiedenen Auflösungen um. Die 150 unterschiedlichen Versionen eines Videos speichert Facebook dann auf seinen Servern, statt sie jeweils bei Bedarf für den Nutzer zu generieren. „Obwohl das mehr Speicherplatz benötigt und es zu Verzögerungen beim Wechsel des Blickpunkts kommen kann, ist es ein einfaches serverseitiges Setup, das keine zusätzliche Software benötigt“, so Facebook weiter.

Da sich der Blickpunkt jederzeit ändern kann, unterteilt Facebook die Videos in einzelne Bildergruppen mit einer Laufzeit von einer Sekunde. Die nächste zu streamende Gruppe wird in Abständen von bis zu einer Sekunde anhand der Blickrichtung des Nutzers, seiner Netzwerkbandbreite und der verbleibenden Zeit bis zur nächsten Bildergruppe ermittelt. „Diese Entscheidung müssen wir sehr sorgfältig treffen. Warten wir nicht lange genug, liefern wir vielleicht den Stream für eine falsche Richtung oder eine falsche Auflösung. Warten wir zu lange, muss der Stream neu zwischengespeichert werden“, schreibt Facebook. Künftig solle dieses Verfahren durch maschinelles Lernen verbessert werden.

Tipp: Sind Sie ein Facebook-Experte? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.