Sony hat eine Patentanmeldung mit dem Titel Generation Super Sampling eingereicht. Darin beschreibt es ein eigenes System zur Generierung von Frames mithilfe neuronaler Netze. Das Dokument, unterschrieben von dem Ingenieur Denis Dupeyron, skizziert eine Methode, die darauf abzielt, Leistungsschwankungen in Szenen mit hoher grafischer Belastung durch direkte Bildvorhersage zu mindern. Man kann davon ausgehen, dass dies eine Technik für zukünftige Konsolen des Unternehmens ist, wobei die PlayStation 6 als Hauptkandidat gilt.
Der Ansatz von Sony zielt darauf ab, eine der wichtigsten Einschränkungen aktueller Echtzeit-Generierungsmethoden zu lösen. Während die herkömmliche Generierung von Frames und die Mehrfach-Interpolation darauf angewiesen sind, zwei bereits berechnete Frames zu haben, um Zwischenbilder zu interpolieren, haben die neuesten Ansätze unterschiedliche Wege eingeschlagen.
Tatsächlich hat NVIDIA die Technologie in Richtung Neural Rendering mit DLSS 5 weiterentwickelt, bei dem neuronale Modelle nicht nur Bilder rekonstruieren oder interpolieren, sondern direkt Beleuchtung, Texturen und Materialien auf die 3D-Szene erzeugen, wobei die Rechenkosten um zwischen 45 % und 50 % der Basisframes sinken, bevor sie durch künstliche Generierung kompensiert werden.
Im Gegensatz zu diesen Ansätzen oder zur herkömmlichen Interpolation, die Verzögerungen verursacht, wenn auf das nächste Frame gewartet wird, prognostiziert der Sony-Ansatz vorwärts basierend auf einem einzigen frisch gerenderten Frame. Das synthetische Bild wird auf dem Bildschirm angezeigt, während der Motor das nächste reale Bild weiterverarbeitet. Um die Vorhersage genau zu machen, analysiert das Decoder-Netzwerk die Bewegungsvektoren und fügt die jüngsten Bewegungen des Controllers hinzu. Auf diese Weise interpretiert das System die physischen Aktionen des Spielers, um vorauszusehen, wohin sich die Kamera oder der Charakter bewegen wird.
Mehrfach-Frame-Vorhersage und integriertes Lernen im Videofluss
Der registrierte Mechanismus funktioniert über einen Encoder, der das verarbeitete Frame in eine kompakte Repräsentation umwandelt. Anschließend gelangt es zu einem Decoder-Netzwerk, das dafür verantwortlich ist, das nächste Bild abzuleiten. Das Dokument stellt fest, dass dieses Modell direkt auf dem Videofluss trainiert werden kann, indem jede Vorhersage mit dem nachfolgenden nativen Frame verglichen wird, wodurch manuelle Beschriftung entfällt.
Zudem umfasst es die Fähigkeit, mehrere aufeinanderfolgende Frames simultan zu projizieren, und enthält einen sekundären Modus ohne KI, der Pixelblöcke entsprechend den herkömmlichen Bewegungsvektoren verschiebt.
Derzeit handelt es sich bei dem Dokument um eine Patentanmeldung im laufenden Verfahren. Das bedeutet, dass die Informationen spärlich sind und weder Latenzwerte noch Messungen der visuellen Qualität angegeben werden. Es wird auch nicht ausdrücklich eine bestimmte Konsole genannt. Nichtsdestotrotz fällt all dies in eine Phase, in der Sony erwägt, die Veröffentlichung der PlayStation 6 auf 2028 oder 2029 zu verschieben, aufgrund von Versorgungsproblemen mit Bauteilen, die durch die erhöhte Nachfrage nach KI-Hardware verursacht werden.
