Ein neuer Bericht hat einige angebliche Änderungen in den internen Bewertungsrichtlinien von Gemini, dem KI-gestützten Chatbot von Google, aufgedeckt, die zu weniger genauen Antworten führen könnten. Unter denjenigen, die solche Antworten auswerten, sind auch Mitarbeiter externer Auftragnehmer, die nach den Richtlinien von Google arbeiten. Allerdings könnte Google Auftragnehmer dazu zwingen, die Antworten von Gemini zu Themen zu bewerten, für deren Beantwortung sie nicht qualifiziert sind.
Das Training KI-gestützter Chatbots ist ein komplexerer Prozess, als Sie vielleicht denken. Es geht nicht nur darum, so viele Daten wie möglich zur Wissensdatenbank eines KI-Modells hinzuzufügen. Um nützlich zu sein, müssen die Daten bestimmte Parameter erfüllen, beispielsweise eine geeignete Organisationsstruktur. Außerdem bewerten Hunderte (oder Tausende) Menschen die Qualität der Antworten. KI-orientierte Unternehmen arbeiten hart daran, den Prozentsatz potenziell fehlerhafter Antworten auf ein Minimum zu reduzieren.
Google könnte Auftragnehmer dazu zwingen, die Antworten von Gemini zu Themen zu bewerten, die außerhalb ihres Fachgebiets liegen
Allerdings behauptet ein Bericht von TechCrunch, dass Google hinsichtlich seiner Richtlinien zur Bewertung von Gemini-Antworten laxer geworden sei. Die Quelle behauptet, dass Auftragnehmer die Möglichkeit hatten, die Bewertung einer bestimmten Antwort zu überspringen, wenn sie sich dazu nicht qualifiziert fühlten. Beispielsweise hätten sie die Bewertung einer Antwort zu Gesundheitsthemen überspringen können.
Genauer gesagt heißt es in den früheren Richtlinien von Google Berichten zufolge Folgendes: „Wenn Sie nicht über wichtige Fachkenntnisse (z. B. Programmieren, Mathematik) verfügen, um diese Eingabeaufforderung zu bewerten, überspringen Sie diese Aufgabe bitte.“ Laut interner Korrespondenz von TechCrunch hat sich das inzwischen geändert. Nun heißt es in den Richtlinien, dass Auftragnehmer „sollten Eingabeaufforderungen, die spezielle Domänenkenntnisse erfordern, nicht überspringen“, behauptet die Verkaufsstelle.
Für Antworten zu Themen, zu denen Auftragnehmer nicht über ausreichende Kenntnisse verfügen, könnte Google sie auffordern, eine Bewertung abzugeben:die Teile der Eingabeaufforderung, die Sie verstehen.“ In diesen Fällen müssen sie außerdem eine Notiz hinterlassen, in der sie darauf hinweisen, dass sie nicht über ausreichende Fachkenntnisse auf dem Gebiet verfügen.
Es gibt noch einige Ausnahmen
Es gibt immer noch Situationen, in denen Auftragnehmer eine Antwort komplett überspringen können. Der Mountain View-Riese erlaubt dies, wenn „völlig fehlende Informationen“, heißt es in dem Bericht. Das heißt, sie können dies nur tun, wenn wichtige Informationen fehlen, die die Antwort oder Aufforderung unverständlich machen. Ein weiterer Fall, in dem die Ausnahme gilt, ist, wenn die Antwort potenziell schädliche Inhalte enthält. Für diese Art von Antworten ist eine zusätzliche Einwilligung über Formulare erforderlich.
Die angeblichen neuen Richtlinien geben Anlass zur Sorge hinsichtlich der Qualität der Antworten von Gemini. Das Problem könnte besonders heikel sein, wenn Benutzer sich beispielsweise an den Chatbot wenden, um nach Informationen zu ihrer Gesundheit zu suchen. In einem solchen Fall ist eine hohe Präzision von entscheidender Bedeutung, und die Fehlerquote sollte praktisch nicht vorhanden sein.
Es gibt noch keine offizielle Stellungnahme von Google zu diesem Thema. Es ist möglich, dass das Unternehmen auch einige zusätzliche Dinge optimiert hat, um sicherzustellen, dass die angeblich neuen Überprüfungsrichtlinien für Gemini-Antworten deren Genauigkeit nicht beeinträchtigen. Dies ist jedoch nur Spekulation, bis eine Stellungnahme des Unternehmens vorliegt. Hoffentlich gibt es bald weitere Neuigkeiten.
