Letzten Monat tauchten mehrere Berichte darüber auf, dass Google Fotos der App eine neue Fotobearbeitungsoption namens Ultra HDR hinzugefügt hat. Wir wissen jetzt, dass es dabei hilft, die Helligkeitsstufen von Ultra HDR-Bildern auf Pixelebene zu steuern. Es gab jedoch keine Erklärung, wie es bei komplexer Bearbeitung hilft. Jetzt erläutert Google, wie bei komplexen Bearbeitungen in Google Fotos die Ultra HDR-Qualität auf Pixel 8 und höher erhalten bleibt.
Beim Bearbeiten eines Ultra HDR-Bildes mit ML-basierten Tools auf Pixel-Geräten treten Kartenprobleme auf
Durch zuvor komplexe Bearbeitungen, die über das Zuschneiden oder Drehen hinausgingen, wurde eine neue Kopie des Bildes in SDR-Qualität erstellt. Dies geschah offenbar aufgrund zusätzlicher Metadaten im Zusammenhang mit Ultra HDR. Das Unternehmen gibt an, dass das Problem speziell bei der Gain Map liegt. Für diejenigen, die es nicht wissen: Gain Map ist „ein logarithmisch codiertes Bild, das neben dem SDR-Bild gespeichert wird und angibt, wie stark jedes SDR-Pixel aufgehellt werden muss, um die angestrebte HDR-Wiedergabe zu erzeugen.“
Insbesondere ist die Bearbeitung von Gain Map mit Tools wie Magic Eraser, Magic Editor und mehr in Google Fotos recht komplex. Das liegt daran, dass Google diese Tools für SDR-Bilder entwickelt hat und Modelle SDR-Bilder als Eingaben erwarten. Dies führt zu SDR-Bildern als Ausgaben. Google stellte außerdem ein Beispiel für die Verwendung der Magic Eraser-Funktion zur Verfügung, um das Problem zu erläutern.
Wenn Sie früher die Magic Eraser-Funktion in Google Fotos verwendet haben, um ein helles Element aus einem Bild zu entfernen, „war es wahrscheinlich, dass der entsprechende Gain-Map-Bereich auch hell war.“ Das Nachmalen des fehlenden Teils des Bildes würde auch ein Nachmalen der Gain Map erfordern, um den „Geistereffekt“ zu verhindern. Dies geschah, weil die ursprüngliche Gain Map als Überlagerung auf dem bearbeiteten SDR-Bild erscheint. Daher wird beim Bearbeiten von Ultra HDR-Bildern in Google Fotos mit MIL-basierten Tools das bearbeitete Bild einfach auf SDR-Qualität herabgestuft.
Das neue Gain Map-Rekonstruktionsmodell behebt das vorherige Problem, um die Ultra HDR-Qualität beizubehalten
Google Fotos verwendet jetzt ein neues ML-Modell, um dieses Problem zu beheben. Das neue Modell rekonstruiert die fehlende Gain Map der SDR-Bilder „nach der HDR-Bildbearbeitung“. Es prognostiziert eine neue Gain Map basierend auf dem Original-SDR-Bild, dem bearbeiteten SDR-Bild und der Gain Map des Originalbilds.
Google sagt, dass das Modell dann die vorhergesagte Gain Map mit der Originalkarte mischt, indem es eine Maske verwendet, bei der Pixel von SDR-Bildern zuvor während der Bearbeitung geändert wurden. Schließlich verschmilzt alles zu einem einheitlichen Bild und „optimiert gleichzeitig die Wiedergabe für HDR-Displays“.
Erwähnenswert ist, dass das Gain Map-Rekonstruktionsmodell von Google „weniger als 1 MB groß ist und mit interaktiven Bildraten auf Mobilgeräten läuft“. Darüber hinaus hat Google dieses Modell anhand Tausender HDR-Bilder trainiert. Darüber hinaus sind diese Ultra HDR-Bearbeitungen in Google Fotos jetzt auf Pixel 8 und neueren Geräten verfügbar.
