Meta hat damit begonnen, Sprachgespräche mit animierten Avataren in Muse auszurollen. Der Assistent kann antworten, während eine Figur Gesicht und Lippen entsprechend dem Gesagten bewegt. Der Start ist zunächst auf die Vereinigten Staaten beschränkt und umfasst die mobilen Versionen, das Web und Mac.
Die Ankündigung macht eine Technologie, die das Unternehmen im September erläutert hatte, zu einer alltäglichen Funktion nutzbar. Muse Realtime Voice erzeugt die gesprochene Antwort und Muse Realtime Avatar erzeugt die Animation. Die Neuigkeit im November ist der Beginn der Verteilung an die Nutzer, mit Optionen, ausschließlich per Audio zu kommunizieren oder zusätzlich das Bild des Charakters einzubinden.
Unterbrechbare Gespräche
Die Funktion wird über das Telefonsymbol oben in Muse geöffnet. Sobald sie gestartet ist, kann der Benutzer mit dem Assistenten sprechen und ihn unterbrechen, falls er eine Frage korrigieren oder das Thema wechseln muss. Das Gespräch erfordert nicht, darauf zu warten, dass jede Antwort beendet ist, um einzugreifen.
Meta ermöglicht die Wahl verschiedener Stimmen und Stile. Wer einen Avatar aktiviert, kann ihn neben dem Chat behalten oder ihn im Vollbildmodus anzeigen lassen. Die Figur reagiert auch während des Zuhörens, sodass die Animation auch während der Nutzersprechphasen fortgesetzt wird.
Das Unternehmen nennt Anwendungen wie die Vorbereitung auf ein Vorstellungsgespräch oder das Kommentieren von Ideen, während man mit dem Assistenten arbeitet. Dies sind Beispiele für die Interaktion, ohne dass die Ankündigung eine unabhängige Bewertung der Qualität der Antworten oder der Nützlichkeit des Avatars bei diesen Aufgaben liefert.
Die Wahl zwischen Stimme und Video verändert die Art und Weise, wie das Gespräch präsentiert wird. Der Nutzer kann auf denAvatar verzichten, wenn er den Assistenten nur hören muss. Die Animation ergänzt Ausdrücke und eine visuelle Darstellung der Rede-Reihenfolge, liefert jedoch an sich keine Überprüfung dessen, was das Modell beantwortet.
Wie sich Stimme und Bewegungen des Avatars koordinieren
Nach der technischen Dokumentation von Meta erzeugt die Sprachgenerierung eine Sequenz, die Informationen aus der Sprache, einschließlich ihrer Intonation, erfasst. Sowohl die Audio-Wiedergabe als auch das Animationssystem verwenden diese Informationen, um die Antwort koordiniert zu halten.
Das Videomodell erhält ein Referenzbild des Charakters, die Sprachinformationen und aktuelle Frames. Aus diesen Daten erzeugt es sukzessive Animationsfragmente. Das Arbeiten mit Fragmenten ermöglicht es, die Antwort zu beginnen, bevor eine vollständige Sequenz abgeschlossen ist.
Die Dokumentation beschreibt eine Ausgabe von 448 × 768 Pixeln bei 25 Bildern pro Sekunde. Der veröffentlichte Latenzwert liegt bei ungefähr 870 Millisekunden bis zum ersten audiovisuellen Fragment der Antwort. Er bezieht sich auf den Beginn der Wiedergabe und nicht auf die Zeit, die benötigt wird, um die gesamte Antwort abzuschließen.
Dieser Wert darf auch nicht als garantierte Zeit für jedes Gespräch interpretiert werden. Es ist eine technische Messgröße des von Meta beschriebenen Systems. Die Ankündigung zur Bereitstellung enthält keine Tests, die es ermöglichen würden, die Erfahrung auf verschiedenen Geräten und Verbindungen zu vergleichen.
Die Bereitstellung folgt dem technischen Vortrag
Die Trennung beider Ankündigungen hilft dabei, genauer zu bestimmen, was sich jetzt ändert. Im September veröffentlichte Meta Informationen darüber, wie Stimmen und Avatare in Echtzeit erzeugt werden. Im November kündigt das Unternehmen an, dass es damit beginnt, diese Fähigkeiten den Muse-Nutzern zur Verfügung zu stellen.
Die Video-Spezifikationen und der Latency-Wert stammen aus jener Dokumentation. Sie werden nicht als Leistungsverbesserung vorgestellt, die zusammen mit der neuen Funktion angekündigt wurde. Die aktuelle Kommunikation konzentriert sich auf den Zugang und die Arten, mit dem Assistenten zu kommunizieren.
Meta erwähnt auch zukünftige Geräte im Zusammenhang mit Muse, benennt aber kein Verfügbarkeitsdatum für diese Einführung. Derzeit sind für diese Gespräche Mobilgeräte, Web und Mac als bestätigte Plattformen angegeben.
Der geografische Umfang bleibt eine relevante Einschränkung für diejenigen, die es von Spanien aus testen möchten. Das Unternehmen verlegt den Beginn der Verteilung auf die USA und konkretisiert kein Datum der Ankunft in anderen Märkten. Die Ankündigung erlaubt auch nicht, alle Kombinationen von Stimmen und Avataren für alle Konten vom ersten Tag an als verfügbar zu betrachten.
