Künstliche Intelligenz hat sich für eine Vielzahl von Aufgaben als nützlich erwiesen. Eine der am meisten angepriesenen Funktionen von KI-fokussierten Unternehmen ist die Fähigkeit, Inhalte zusammenzufassen. Dies scheint für sehr lange oder komplexe Artikel großartig zu sein, in denen der Chatbot eine „verdaulichere“ Version bieten könnte. Einige der führenden KI -Chatbots haben sich jedoch als ungenau erwiesen, als sie Nachrichtenzusammenfassungen in Tests generieren.
Die BBC testete vier der führenden KI -Chatbots und konzentrierte sich auf ihre Fähigkeit, Nachrichten zusammenzufassen. Die fraglichen Chatbots sind OpenAIs Chatgpt, Microsoft Copilot, Googles Gemini und Anthropics Verwirrung. Während des Tests ermöglichte die BBC AI -Chatbots, auf ihre Newsfeeds zuzugreifen. Die Outlet lässt dies normalerweise nicht zu, da sie eine „Robots.txt“ -Datei verwenden, um AI -Plattformen mitzuteilen, dass sie Inhalte nicht von seiner Website abrufen können. Sie haben jedoch die Beschränkung zum Testen vorübergehend deaktiviert.
KI -Chatbots haben eine hohe Wahrscheinlichkeit, ungenaue Nachrichtenzusammenfassungen zu generieren. BBC -Tests zeigen
Das Experiment bestand darin, KI -Chatbots zusammenzusetzen, Zusammenfassungen für 100 BBC -Nachrichtenartikel. Die Outlet brachte auch Experten in den relevanten Nachrichtenthemen ein, um die Ausgaben zu bewerten. Die Ergebnisse zeigten, dass 51% der generierten Zusammenfassungen bemerkenswerte Probleme hatten. Der besorgniserregendste Teil war, dass es eine Halluzinationsrate von 19%gab. Insbesondere die Zusammenfassungen für 19% der Artikel umfassten falsche-oder nicht existierende-Tatsachen, Zahlen oder Daten.
Der Bericht erwähnt auch, dass die Chatbots “Ich bemühte sich, zwischen Meinungen und Tatsachen zu unterscheiden, redaktionalisiert zu werden und es oft versäumt es, einen wesentlichen Kontext aufzunehmen. ““
Deborah Turess, CEO von BBC News, hatte einige Worte zu den Ergebnissen der Tests. Sie betrachtet KI als Quelle von “Endlose Möglichkeiten. ““ Die Turness ist jedoch der Ansicht, dass KI -Firmen sind “mit Feuer spielen. ““ “Wir leben in unruhigen Zeiten und wie lange wird es dauern, bis eine KI-distorierte Überschrift einen erheblichen Schaden in der realen Welt verursacht?”
KI -Plattformen sind nicht von Natur aus schlecht darin, Zusammenfassungen zu generieren
Die Turess sagt, sie ist offen für “Arbeiten Sie in Partnerschaft zusammen, um Lösungen zu finden. ““ OpenAI war der einzige der vier KI -Unternehmen, die eine Erklärung zu den Ergebnissen anbieten. “Wir haben mit Partnern zusammengearbeitet, um die Inline-Zitatgenauigkeit zu verbessern und Publisher-Präferenzen zu respektieren, einschließlich der Aktivierung, wie sie in der Suche angezeigt werden, indem sie OAI-Searchbot in ihrem Robots.txt verwalten. Wir werden weiterhin die Suchergebnisse verbessern«, Sagte ein Sprecher.
Dies bedeutet nicht, dass KI -Plattformen von Natur aus schlecht darin sind, Zusammenfassungen zu generieren. Sie neigen dazu, einen ziemlich guten Job zu machen, wenn es um kleine Informationen aus verschiedenen Quellen geht. AI-betriebene Tools, die E-Mails zusammenfassen, funktionieren ebenfalls gut. Es scheint jedoch, dass die Dinge komplizierter werden, wenn sie sich mit längeren und komplexeren Inhalten befassen müssen.
