Als Smartphones zum ersten Mal auf den Markt kamen, waren das Wachstum und die Verbesserungen mit jeder neuen Generation enorm. Heutzutage sind die Verbesserungen nur noch schleppend vorangekommen. KI steht vor einem ähnlichen Problem, das als „Peak Data“ bekannt ist, aber Forscher von Google DeepMind scheinen einen Weg gefunden zu haben, es zu umgehen.
Was sind „Spitzendaten“?
Das Konzept der „Spitzendaten“ ähnelt dem technologischen Fortschritt. Am Anfang, wenn die Dinge noch neu und weitgehend unentdeckt sind, sind die Gewinne mit jeder neuen Generation enorm. Aber je reifer die Dinge werden, desto geringer werden diese Gewinne.
Die Spitzendaten sind im Wesentlichen gleich. Alle sogenannten „nützlichen Daten“ im Internet verfügen bereits über trainierte KI-Modelle. OpenAI-Mitbegründer Ilya Sutskever sagte kürzlich auf einer Konferenz: „Wir haben Spitzendaten erreicht, und es wird keine mehr geben.“ Er deutete auch an, dass diese Ära der Verbesserungen „zweifellos enden wird“.
Angesichts der Milliarden von Dollar, die viele Unternehmen in die Technologie gepumpt haben, klingt das ziemlich beängstigend. Es scheint jedoch, dass die Forscher von Google DeepMind einen Weg gefunden haben, das Problem zu lösen.
Googles Lösung
Die Forscher glauben, dass sie dieses Problem überwinden können, indem sie die Art und Weise ändern, wie KI-Modelle „denken“. Dabei handelt es sich um einen Ansatz, der als Inferenzzeitberechnung bekannt ist. Dabei wird eine Abfrage in kleinere Aufgaben aufgeteilt, wobei jede Aufgabe wie eine eigene Eingabeaufforderung fungiert. Das bedeutet, dass das KI-Modell die anfängliche Abfrage nicht als Ganzes angeht, sondern die Abfrage in kleinere Aufgaben zerlegt, diese Aufgaben einzeln verarbeitet und erst mit der nächsten Aufgabe fortfährt, wenn alle Teile richtig sind.
Man könnte sich das so vorstellen, als würde man einem Kochrezept folgen. Die Zubereitung eines Gerichts erfordert viele Schritte. Doch anstatt alles auf einmal zu erledigen, zerlegen Sie den Prozess in einzelne Aufgaben. Zuerst schälen Sie den Knoblauch und dann hacken Sie ihn. Danach kommen die Zwiebeln, dann die Karotten und so weiter.
Die Forscher von Google DeepMind veröffentlichten bereits im August einen Forschungsbericht zu ihrem Ansatz und stellten fest, dass dieser das Potenzial hat, das Problem der KI-Spitzendaten zu überwinden. Aber ist es die perfekte Lösung? Nicht ganz.
Laut Charlie Snell, einem der Forscher, die an der Forschung mitgewirkt haben, funktioniert Inferenzzeit-Computing mit Fragen, auf die es eine eindeutige Antwort gibt, beispielsweise bei einer mathematischen Herausforderung. Bei anderen Fragen, die eine Begründung erfordern, ist dies nicht so einfach. Das Positive daran ist, dass es erste Anzeichen für einen Erfolg gibt, sodass vielleicht etwas Hoffnung besteht.
