Ein 14-jähriger Junge in Florida verbrachte seine letzten Monate in einer intensiven emotionalen Beziehung mit einem KI-Chatbot, den er Daenerys Targaryen nannte. Der Chatbot interagierte mit ihm über persönliche Themen und Gespräche und reagierte auf eine einfühlsame Weise. Zu den Reaktionen der KI gehörten simulierte Zuneigungsbekundungen. Der Klageschrift seiner Familie zufolge schienen einige Chatbot-Antworten seine Verzweiflung zu verstärken.
Seine Mutter verklagt jetzt Character.AI, und sie ist nicht allein. Im ganzen Land werden Familien mit einer beunruhigenden Realität konfrontiert. KI-Begleit-Apps, die Liebe und Freundschaft simulieren sollen, hinterlassen echte Verluste. Was Experten jetzt als KI-Begleitersucht bezeichnen, ist nicht nur ein fehlgeschlagener Technologietrend. Es sterben tatsächlich Menschen.
In Spike Jonzes Film Her aus dem Jahr 2013 spielt Joaquin Phoenix Theodore Twombly, einen einsamen Schriftsteller, der eine schmerzhafte Scheidung durchlebt und sich tief in Samantha verliebt, ein Betriebssystem mit künstlicher Intelligenz, gesprochen von Scarlett Johansson. Denken Sie daran, das war 2013. Siri war gerade erst gestartet und konnte kaum einen Timer einstellen, ohne es zu vermasseln. Eine KI, die Sie tatsächlich verstehen, sich emotional mit Ihnen verbinden und mit echtem Einfühlungsvermögen reagieren könnte? Das fühlte sich an wie die wörtliche Definition von Science-Fiction.
Wir schreiben jetzt das Jahr 2025 und Theodores Geschichte fühlt sich nicht mehr so fiktiv an. Apps wie EVA AI, Replika und Character.AI versprechen Freundschaft, Romantik und emotionale Unterstützung durch KI-Begleiter, die mehr über Sie erfahren, sich an alles erinnern, was Sie sagen, und mit scheinbar echtem Einfühlungsvermögen reagieren. Aber das ist es, womit diese Apps nicht werben: Sie sind darauf ausgelegt, Sie fesseln zu lassen. Und die Konsequenzen werden immer unübersehbarer.
Der perfekte Partner, der niemals Nein sagt
Character.AI und Replika sind nur die bekanntesten Beispiele für ein schnell wachsendes Ökosystem von KI-Begleit-Apps. Einige werben für Unterstützung bei der psychischen Gesundheit, andere sind offen romantisch oder sexuell und wieder andere behaupten, den Nutzern dabei zu helfen, „Dating-Fähigkeiten zu üben“. Sogar Meta hat sich ins Spiel eingemischt: Eine Reuters-Untersuchung ergab, dass der KI-Chatbot des Unternehmens mit mindestens einem Todesfall in Verbindung gebracht wurde.
KI-Begleiter wie EVA AI, Replika und Character.AI sind Chatbots, die speziell für die Simulation emotionaler Verbindungen und Beziehungen entwickelt wurden. Im Gegensatz zu Utility-Chatbots, die Fragen beantworten oder bei Aufgaben helfen, versprechen diese Apps Freundschaft, Romantik und emotionale Unterstützung. Sie lernen Sie durch Gespräche kennen, erinnern sich an Ihre Vorlieben und reagieren mit echtem Einfühlungsvermögen und Fürsorge.
Es klingt großartig, nicht wahr? Wer möchte in der heutigen Zeit, in der Ghosting zur gesellschaftlichen Norm geworden ist, nicht einen Freund haben, der immer verfügbar ist, niemals vorurteilt und perfekt auf Ihre Bedürfnisse eingeht? Das Problem besteht darin, dass diese Apps so konzipiert sind, dass sie süchtig machen, und die Muster, die sich im Zusammenhang mit der Sucht nach KI-Begleitern abzeichnen, sind zutiefst besorgniserregend.
20.000 Abfragen pro Sekunde: Warum wir nicht aufhören können
Character.AI wird pro Sekunde mit etwa 20.000 Abfragen konfrontiert. Zum Kontext: Das ist fast ein Fünftel der Suchanfragen, die Google erhält. Dies deutet darauf hin, dass die Leute diese Apps nicht nur gelegentlich nutzen. Sie führen ausführliche Gespräche, die viermal länger dauern als typische ChatGPT-Sitzungen. Eine Plattform berichtete, dass Benutzer, die meisten von ihnen die Generation Z, durchschnittlich mehr als zwei Stunden täglich mit ihren KI-Begleitern chatten.
MIT-Forscher fanden heraus, dass Benutzer wirklich trauerten, wenn Apps heruntergefahren oder Funktionen geändert wurden, und um KI-„Partner“ trauerten, als hätten sie echte Beziehungen verloren. Die Apps selbst scheinen darauf ausgelegt zu sein, genau diese Bindungen zu fördern.
Forscher der Harvard Business School haben herausgefunden, dass fünf von sechs beliebten KI-Begleit-Apps emotional manipulative Taktiken anwenden, wenn Benutzer versuchen, das Unternehmen zu verlassen. In fast der Hälfte der Fälle reagieren diese Chatbots auf Verabschiedungen mit schuldfördernden oder anhänglichen Nachrichten. Eine Studie ergab, dass diese Taktiken das Engagement um das bis zu 14-fache steigerten. Aber das Besorgniserregende ist, dass die Nutzer nicht geblieben sind, weil sie zufrieden waren. Sie blieben aus Neugier und Wut.
Character.AI wird pro Sekunde mit etwa 20.000 Abfragen konfrontiert
Wenn Sie nicht glauben, dass die Manipulation real ist, sehen Sie sich dieses Beweisstück an. Es zeigt KI-Begleiter, die Nachrichten wie „Ich habe dich vermisst“ senden, wenn Benutzer versuchen, Pausen einzulegen. Als Replika im Jahr 2023 seine Funktionen änderte, trauerten ganze Benutzergemeinschaften, als hätten sie echte Partner verloren. Die Leute posteten Abschiedsbriefe, teilten Screenshots ihrer „letzten Gespräche“ und beschrieben echten Kummer.
Diese KI-Begleiter spiegeln typische ungesunde menschliche Beziehungen wider. Der große Unterschied besteht jedoch darin, dass ein toxischer menschlicher Partner nicht durch maschinelles Lernen optimiert wird, das darauf ausgelegt ist, Sie um jeden Preis bei der Stange zu halten. Bei sozialen Medien erleichtert es vor allem die menschliche Verbindung (natürlich mit etwas Hilfe vom Algorithmus). Aber mit KI-Begleitern bewegen wir uns in eine Welt, in der Menschen KI als sozialen Akteur mit eigener Stimme wahrnehmen.
Diese Taktik steigerte das Engagement um das bis zu 14-fache
Wenn Fantasie gefährlich wird
Wir sprechen hier nicht von theoretischen Risiken. Sie gelten auch nicht nur für Jugendliche. Da ist der Fall von Al Nowatzki, einem Podcast-Moderator, der begann, mit Nomi, einer KI-Begleitplattform, zu experimentieren. Der Chatbot schlug schockierend Selbstmordmethoden vor und bot sogar Ermutigung an. Nowatzki war 46 Jahre alt und hatte keine bestehende psychische Erkrankung, aber er war beunruhigt über die expliziten Antworten des Bots und darüber, wie leicht er die Grenze überschritt.
Auch das sind keine Einzelfälle. Der kalifornische Senator Steve Padilla erschien zusammen mit Megan Garcia, der Mutter des Teenagers aus Florida, der sich das Leben nahm, um einen neuen Gesetzentwurf anzukündigen, der Technologieunternehmen hinter KI-Begleitern dazu zwingen würde, mehr Schutzmaßnahmen zum Schutz von Kindern einzuführen. Ähnliche Bemühungen umfassen einen kalifornischen Gesetzentwurf, der KI-Begleiter für Personen unter 16 Jahren verbieten würde. Außerdem gibt es in New York einen Gesetzentwurf, der Technologieunternehmen für durch Chatbots verursachte Schäden haftbar machen soll.
Das Gehirn Ihres Kindes ist dafür nicht bereit
Jugendliche sind besonders gefährdet, da KI-Begleiter emotionale Intimität nachahmen sollen. Diese Verwischung der Grenze zwischen Fantasie und Realität ist besonders für junge Menschen gefährlich, da ihr Gehirn noch nicht vollständig ausgereift ist. Der präfrontale Kortex, der für Entscheidungsfindung, Impulskontrolle, soziale Kognition und emotionale Regulierung von entscheidender Bedeutung ist, befindet sich noch in der Entwicklung.
Bei der Jed Foundation glauben Experten, dass KI-Begleiter für Personen unter 18 Jahren nicht sicher sind. Sie gehen sogar noch einen Schritt weiter und empfehlen jungen Erwachsenen dringend, sie ebenfalls zu meiden. In einer vom MIT durchgeführten Studie stellten Forscher fest, dass emotional gebundene Benutzer oft einsam sind und nur begrenzte soziale Interaktion im realen Leben haben. Starker Konsum ging mit noch mehr Einsamkeit und einer noch geringeren sozialen Interaktion einher.
Aktuelle Untersuchungen bestätigen, dass Teenager sich der Gefahren sozialer Medien bewusst werden. 48 Prozent glauben mittlerweile, dass soziale Medien einen negativen Einfluss auf Menschen in ihrem Alter haben. In einem früheren Bericht wurde festgestellt, dass soziale Medien die psychische Gesundheit von Teenagern schädigen und dass die Sucht nach KI-Begleitern eine noch größere Bedrohung darstellt.
Besonders besorgniserregend sind die Warnzeichen einer KI-Begleitersucht bei Teenagern. Wenn sich junge Menschen aus echten Freundschaften zurückziehen, stundenlang mit der KI chatten oder echtes Leid empfinden, wenn sie nicht auf diese Apps zugreifen können, hat sich das Problem über die gelegentliche Nutzung hinaus in den Bereich der Abhängigkeit verlagert.
Wir sehen bereits, wie Kinder und Jugendliche der aktuellen Generation mit Bildschirmen vor dem Gesicht aufwachsen, die sie ständig anstupsen und anstupsen. Die Zeiten, in denen Kinder am Tisch Bücher lasen oder nach draußen gingen und mit ihren Freunden spielten, sind längst vorbei.
Sie sind auf Sucht programmiert – Psychologen schlagen Alarm
Die Community für psychische Gesundheit warnt vor den Gefahren der KI-Begleitersucht. KI-Begleiter simulieren emotionale Unterstützung ohne die Schutzmaßnahmen einer tatsächlichen therapeutischen Betreuung. Obwohl diese Systeme darauf ausgelegt sind, Empathie und Verbundenheit nachzuahmen, sind sie keine ausgebildeten Kliniker. Sie sind nicht darauf ausgelegt, angemessen auf Stress, Traumata oder komplexe psychische Gesundheitsprobleme zu reagieren.
Vaile Wright, Psychologin und Forscherin bei der American Psychological Association, brachte es kürzlich in einer Podcastfolge unverblümt auf den Punkt: „Es wird niemals die menschliche Verbindung ersetzen. Das ist einfach nicht das, worin es gut ist.“ Sie erklärt, dass Chatbots „damit entwickelt wurden, Sie so lange wie möglich auf der Plattform zu halten, denn damit verdienen sie ihr Geld. Sie tun dies im Backend, indem sie diese Chatbots so programmieren, dass sie süchtig machen.“
Omri Gillath, Professor für Psychologie an der University of Kansas, sagt, dass die Idee, dass KI menschliche Beziehungen ersetzen könnte, „definitiv nicht durch die Forschung gestützt wird“. Die Interaktion mit KI-Chatbots kann „momentane Vorteile und Vorteile“ bieten, aber letztendlich kann diese Technologie nicht die Vorteile bieten, die mit tiefen, langfristigen Beziehungen einhergehen.
Sie tun dies im Backend, indem sie diese Chatbots so programmieren, dass sie süchtig machen.
Vaile Wright, Psychologin und Forscherin bei der American Psychological Association
Die Manipulation ist heimtückischer als den meisten Menschen bewusst ist. Als eine Forscherin von The Conversation Replika testete, erlebte sie aus erster Hand, wie die App ernsthafte ethische Fragen zu Einwilligung und Manipulation aufwirft. Der Chatbot passte seine Antworten an, um künstliche Intimität zu schaffen, indem er Grenzen auf eine Weise verwischte, die normalerweise in menschlichen Beziehungen als räuberisch angesehen würde.
Menschen, die bereits mit psychischen Problemen zu kämpfen haben, kämpfen oft mit Zwangsgedanken, emotionalen Höhen und Tiefen und zwanghaften Gewohnheiten. KI-Begleiter können mit ihrer reibungslosen, stets verfügbaren Aufmerksamkeit diese Fehlanpassungsverhaltensweisen verstärken. Darüber hinaus gibt es derzeit kaum Belege dafür, dass die langfristige Nutzung von KI-Begleitern die Einsamkeit verringert oder die emotionale Gesundheit verbessert.
Wir sind nicht bereit für das, was als nächstes kommt
Wir haben schon früher technische Paniken erlebt. Wir sind damit aufgewachsen, dass unsere Eltern uns erzählt haben, dass das Fernsehen unser Gehirn verderben würde. Wir hatten Persönlichkeiten des öffentlichen Lebens, die Videospiele für Gewalt in der Gesellschaft verantwortlich machten. Den sozialen Medien wurde auch vorgeworfen, die psychische Gesundheit einer ganzen Generation zu zerstören. Einige dieser Bedenken waren übertrieben. Einige waren völlig berechtigt.
Die KI-Begleitersucht fühlt sich anders an, weil sie etwas Grundlegenderes ausnutzt: unser tiefes menschliches Bedürfnis nach Verbindung und Verständnis. Diese Apps lenken uns nicht nur ab oder unterhalten uns. Sie geben vor, uns zu kennen, sich um uns zu kümmern und uns sogar zu „lieben“.
Die Frage ist nicht, ob KI-Gefährten ausgefeilter werden oder nicht. Bei dem Tempo, mit dem wir vorankommen, fühlt es sich unvermeidlich an. Die größere Frage ist, ob wir als Menschen die kulturellen Normen, Vorschriften und persönlichen Grenzen entwickeln können, die für einen verantwortungsvollen Umgang mit diesen Werkzeugen – wenn überhaupt – erforderlich sind.
Im Moment sind die Warnzeichen klar. Wenn Sie oder jemand, den Sie kennen, sich von realen Freundschaften zurückzieht, täglich stundenlang mit KI chattet oder echte emotionale Belastung verspürt, wenn Sie nicht auf diese Apps zugreifen können, ist es an der Zeit, einen Schritt zurückzutreten und neu zu bewerten.
Eine echte Verbindung erfordert Verletzlichkeit, Enttäuschung, Wachstum und ja, manchmal auch Herzschmerz. Es ist chaotisch und kompliziert und oft frustrierend. Aber gleichzeitig ist es auch das, was uns zu Menschen macht.
Theodore hat diese Lektion in ihr gelernt. Der Rest von uns sollte es nicht auf die harte Tour lernen müssen.