Wie wir bereits im Architekturartikel zur neuen GPU Mali G2-Ultra NX gesehen haben, hat ARM beschlossen, in seinen GPUs ein System von NX-Neuralbeschleunigern für KI zu integrieren, um Technologien zur Upsampling, Frame-Generierung und Raytracing-Rekonstruktion für Smartphones nutzbar zu machen.
Zusammen mit den beiden SME2-Motoren im CPU-Teil von CSS For Mobile 2 bilden sie die KI-Hardware ihrer neuen Plattform.
Großzügig gesagt ermöglichen diese neuen Beschleuniger den Einsatz dieser Technologien, ohne die Leistung der Shader der GPU zu beeinträchtigen. Das Unternehmen wird ähnliche Technologien wie DLSS, FSR oder XeSS offen auf Plattformen wie GitHub oder Hugging Face anbieten – jedoch angepasst an die Energie- und Leistungsgrenzen von Smartphones. Es handelt sich um die Technologien NSS, NFRU und NSSD.
NSS (Neural Super Sampling)
NSS ist die Technologie des zeitlichen Upsamplings. Sie basiert auf einem in niedriger Auflösung von der GPU gerenderten Bild zusammen mit Bewegungsvektoren und Tiefenkarten, und ein KI-Netzwerk übernimmt die Rekonstruktion auf eine höhere Auflösung, ohne dass danach ein Antialiasing-Filter nötig wäre.
ARM hat Demonstrationen gezeigt, in denen von 540p auf 1080p skaliert wird, wodurch die FPS verdoppelt werden, während der Energieverbrauch bei ca. 2,5 W bleibt und der Speicherzugriff um die Hälfte reduziert wird.
Diese Technologie ist in der Lage, sieben von acht Pixeln eines Bildes zu skalieren, ausgehend von einem zuvor gerenderten Pixel.
NFRU (Neural Frame Rate Upscaling)
Zusammen mit NSS kommt auch NFRU, das ARM-System zur Generierung von Frames; es nutzt den in den neuen GPUs integrierten Bewegungsmotor, um Bewegungen zwischen vorherigen und nachfolgenden Frames zu erkennen. Mit diesen Informationen erzeugt das neuronale Netz von NFRU ein Zwischenbild, das die GPU nicht rendern musste. Laut ARM ermöglicht dies, von 60 auf 120 stabile FPS zu gehen und reduziert die Speichertransfers um 33 %.
NSSD (Neural Super Sampling and Denoising)
NSSD kombiniert das zeitliche Upsampling NSS mit einem System zur Raytracing-Rekonstruktion und Rauschunterdrückung, eine Technologie, die speziell in Smartphones nützlich ist, wo Leistung und Ressourcen der GPU begrenzt sind.
Auf diese Weise kann man mit NSSD aus Bildern mit Raytracing, die mit wenigen Lichtstrahlen und niedriger Auflösung berechnet wurden, anschließend hochskaliert und die Beleuchtung rekonstruiert sowie das anfänglich durch KI erzeugte Rauschen gefiltert werden.
ARM hat Demos wie Neural Dawn gezeigt, bei denen dank der Kombination dieser KI-Techniken Szenen mit mehr als 1.400 Lichtquellen in Echtzeit bewegt werden können, während sie in 540p gerendert und hochskaliert werden – alles bei stabilen 60 FPS und einem Stromverbrauch von lediglich 2 W.
Dies bedeutet eine Vervierfachung der FPS und der Effizienz vom nativen Modus bis zum Modus mit NFRU.
