Die Upscaling-Technologie von NVIDIA DLSS ist weiter fortgeschritten und kann nun sogar zusätzliche Frames für deine Spiele erzeugen, eine Technik, die auch als Frame Generation bekannt ist. Doch diese Methode, Spiele flüssiger darzustellen, hat ihre Reichweite erweitert und kann nun auch bei Videos eingesetzt werden. FFmpeg hat es geschafft, die Generierung von Frames über Vulkan mit NVIDIA RTX-kompatiblen Grafikkarten hinzuzufügen, auch wenn es sich dabei eigentlich um eine Video-Interpolation handelt.
FFmpeg fügt Frame-Generierung für Videos mit NVIDIA RTX hinzu
Die neue Funktion wurde dem Hauptentwicklungszweig hinzugefügt und trägt den Namen FRUC (Frame Rate Up-Conversion). Diese Funktion ermöglicht es, zusätzliche Frames für bereits vorhandene Videos zu erzeugen, wobei sie Vulkan nutzt und sofern man über eine NVIDIA-GPU verfügt. Die Funktionsweise ist wie üblich: FRUC kann zwei Frames analysieren und die Bewegungsbahnen der Objekte berechnen, wodurch es möglich ist, zwischen diesen beiden Frames einen zusätzlichen Frame zu erzeugen, um die Bildglätte der Videos zu verbessern.
Diese Technik wird es ermöglichen, bestehende Videos von 30 FPS auf 60 FPS zu erhöhen, was die Darstellung für alle verbessert. Im Gegensatz zu DLSS für Spiele, das Spieldaten, Bewegungsbahnen und weitere Informationen analysieren kann, werden bei Videos lediglich zwei benachbarte Frames – das vorherige und das folgende – analysiert, um daraus ein Zwischenbild zu erzeugen.
FRUC wird mit NVIDIA RTX 30 und späteren Modellen kompatibel sein
Tobwohl die NVIDIA RTX 20 bereits Unterstützung für NVIDIA Optical Flow über Vulkan boten, ist die Kompatibilität mit dem SDK 5.0 erst mit der nächsten Generation verfügbar. Daher wird die neue FRUC-Funktion mit den NVIDIA RTX 30 und späteren Modellen kompatibel sein und die RTX 20 außen vor bleiben. Diese Technik ist im Video-Bereich nicht neu, doch nun kommt dafür die speziell von NVIDIA eingesetzte Hardware zum Einsatz, um dieses Ziel zu erreichen, ohne auf Software zurückgreifen zu müssen, die in der Regel einen höheren Leistungsbedarf hat.
Video-Interpolation kommt zu FFmpeg über Vulkan
Es scheint, dass NVIDIA diese Funktion bereits vor einiger Zeit hinzufügen wollte, sie war jedoch an die NVIDIA-Software gebunden und stand nicht in einer freien Distribution wie FFmpeg zur Verfügung. Letztendlich wurde sie als unpraktisch verworfen. FFmpeg hat dieses Hindernis überwunden, indem es Vulkan einsetzt und so die Abhängigkeit von proprietärer NVIDIA-Software eliminiert.
Weitere Funktionen waren ebenfalls implementiert worden, aber derzeit bleibt diese FRUC-Lösung erhalten, die allgemein zu einer besseren Glätte der Videos beitragen wird.
