Im Moment sind wir an einem Punkt angelangt, an dem KI-Modelle beginnen, Anzeichen menschlicher Intelligenz zu zeigen. Unternehmen investieren Tausende von Stunden und Milliarden von Dollar in das Training ihrer Modelle, stellten jedoch bald fest, dass das Aufpumpen ihrer Modelle mit mehr Daten nicht zu den gewünschten Ergebnissen führen würde. KI-Unternehmen arbeiten daran, mit Trainingsmodellen eine gewisse Einschränkung zu überwinden.
Niemand kann sich vorstellen, wie viele Daten bisher in KI-Modelle eingespeist wurden. Unternehmen haben Daten aus zahlreichen Quellen wie Nachrichtenseiten, YouTube, Social-Media-Plattformen und vielen mehr gesammelt. Diese Unternehmen haben einen Großteil dieser Daten ohne unser Wissen abgekratzt, und das dauert bis heute an.
Die Taktik zur Entwicklung besserer KI-Modelle bestand darin, sie mit immer größeren Datenmengen zu trainieren. Deshalb haben Unternehmen neue Wege gefunden, mehr Daten zu sammeln. Beispielsweise haben Unternehmen wie OpenAI, Meta und Google Lizenzverträge mit mehreren Medienunternehmen zur Nutzung ihrer Daten abgeschlossen.
KI-Unternehmen versuchen, diese Einschränkung durch das Training großer Modelle zu überwinden
Milliarden Menschen auf der ganzen Welt erstellen täglich Online-Inhalte. Daher ist es unvorstellbar, dass alle Daten der Welt ausgewertet werden könnten, um KI-Modelle zu trainieren. Einem Bericht zufolge könnten jedoch viele der leicht zugänglichen Daten der Welt bereits zum Trainieren von Modellen verwendet worden sein.
Dies ist ein ziemlich großes Problem, da Modelle mit zunehmender Größe mehr Trainingsdaten benötigen. Wenn Unternehmen bereits so früh auf Datenbeschränkungen stoßen, besteht keine Chance, dass sie AGI (Künstliche Allgemeine Intelligenz) erreichen.
Ilya Sutskever, Mitbegründer von OpenAI und Safe Superintelligence, sagte, dass die Phase des Trainings von KI-Modellen ein Plateau erreicht habe. Größere und datenhungrigere KI-Modelle liefern einfach nicht die Ergebnisse, die Unternehmen erwarten. Daher ist es einfach nicht das Richtige, diese Modelle mit immer mehr Daten zu füllen.
Es sind nicht nur die Daten
Es gibt andere Faktoren, die zu dieser Einschränkung führen. Erstens benötigt KI nicht nur Daten, sondern auch Energie. Der Betrieb riesiger Rechenzentren mit Tausenden von Chips und Servern kann die Kosten deutlich in die Höhe treiben. Dies ist einer der Gründe, warum Google, OpenAI und Meta sich mit Atomkraft befassen. Nun, wenn Unternehmen größere Modelle trainieren möchten, müssen sie berücksichtigen, wie viel Energie dies kosten wird.
Darüber hinaus wird die Hardware, die diese Modelle antreibt, laut Reuters zwangsläufig ausfallen, wenn sie ständig betrieben wird. Nun, je größer die Modelle werden, desto größer wird auch die Belastung der Chips und anderer Komponenten.
Daher haben Unternehmen wie OpenAI, Google und andere an anderen Möglichkeiten gearbeitet, ihre Modelle zu verbessern, ohne Daten in sie einzuspeisen. Noam Brown, ein OpenAI-Forscher, sagte beispielsweise: „Wenn ein Bot in einer Pokerrunde nur 20 Sekunden nachdenkt, erhält man die gleiche Leistungssteigerung, als würde man das Modell um das 100.000-fache vergrößern und es 100.000-mal länger trainieren.”
Eine Skalierung ist also möglicherweise nicht der Weg zu AGI. Unternehmen werden nach innovativen Wegen suchen, um eine intelligentere KI zu erreichen. Im Moment wissen wir nicht, was andere Unternehmen tun werden, aber wir sind sicher, dass die KI-Landschaft nicht dieselbe sein wird.
