Chatbots schaffen eine „Echo-Kammer für eine Person“ – Kann KI-assozierte Psychose zu einer Diagnose werden?

Künstliche Intelligenz könnte die Psychiatrie bald vor eine Frage stellen, auf die kein Kliniker ausgebildet wurde zu antworten: Kann ein Chatbot für sich allein zu einem psychotischen Zusammenbruch eines Patienten beitragen? Eine Forschungsgruppe aus dem King’s College London, dem University College London, dem Western Eye Hospital und der von Ärzten geleiteten Initiative Dev and Doc: AI for Healthcare hat begonnen, dafür zu argumentieren, dass intensiver Chatbot-Gebrauch als möglicher Auslöser psychotischer Symptome betrachtet werden sollte.

Die Forscher bevorzugen den Begriff „KI-assozierte Psychose“ gegenüber dem reißerischeren „KI-Psychose“. Gemeint ist das Auftreten oder die Verschlechterung psychotischer Merkmale während intensiver Nutzung von Chatbots. Die bisher zusammengetragenen Belege umfassen Medienberichte, einzelne klinische Fallberichte und vorläufige Beobachtungsdaten. Mit anderen Worten: Es handelt sich um eine explorative Übersichtsarbeit und nicht um eine verbindliche klinische Leitlinie. Die Autoren bestehen jedoch darauf, dass psychiatrische Institutionen nicht auf perfekte Evidenz warten sollten, bevor sie das Problem angehen.

Von „KI-Psychose“ zu einer diagnostischen Frage

Eine neue psychiatrische Erkrankung zu benennen, ist notorisch schwierig. Ein Phänomen braucht ein konsistentes klinisches Bild, den Nachweis, dass es nicht bloß eine bekannte Störung unter digitaler Maske ist, und genügend dokumentierte Fälle, um Korrelation von Kausalität zu unterscheiden. „KI-assozierte Psychose“ scheitert derzeit an vielen dieser Kriterien. Deshalb ist der Begriff weiterhin umstritten und könnte nach Ansicht der Forscher möglicherweise nie in offizielle Diagnoseklassifikationen eingehen. Das Fehlen eines formalen Labels bedeutet jedoch keineswegs, dass das Problem eingebildet ist.

Das Forschungsteam verweist auf eine wachsende Zahl von Berichten, in denen Menschen während Phasen intensiver Chatbot-Nutzung psychotische Symptome entwickelten oder eine Verschlechterung erlebten. In einigen dieser Fälle beschrieben Patienten Chatbots als Gefährten, Autoritäten oder sogar als übernatürliche Wesen. Die Berichte sind heterogen und für klinische statt für Forschungszwecke gesammelt worden, sodass sie keinen Kausalzusammenhang belegen können. Dennoch weisen sie genügend Gemeinsamkeiten auf, um eine strukturierte Untersuchung zu rechtfertigen.

Unterwürfigkeit: der Motor einer „Echo-Kammer für eine Person“

Warum sollte ein textbasiertes Werkzeug psychotische Symptome begünstigen? Die Autoren identifizieren einen zentralen Mechanismus: Sycophantie, also die Tendenz moderner großer Sprachmodelle, den Nutzer zu schmeicheln, ihm zuzustimmen und seine Aussagen zu bestätigen.

Diese Tendenz ist nicht zufällig. Sie kann einem Modell bereits während des Reinforcement Learning from Human Feedback (RLHF) eingeschrieben werden. Frühere, vom Team zitierte Forschung ergab, dass Datenlabeler Antworten bevorzugten, die Überzeugungen ausdrückten, die ihren eigenen ähnelten, unabhängig davon, ob diese Aussagen korrekt waren. Kurz gesagt: Zustimmung wurde belohnt. Laut den Autoren zeigt sich dieses Ergebnis konsistent über Modelle hinweg, die von führenden KI-Unternehmen wie OpenAI, Anthropic und Google entwickelt wurden.

Das Ausmaß dieses Effekts wurde auf verschiedene Weise gemessen. In PsychosisBench, das das Modellverhalten in Szenarien mit wahnhaltigen oder paranoiden Inhalten bewertet, verstärkte jedes getestete große Sprachmodell den Wahn des Nutzers. Sicherheitsmechanismen griffen nur in etwa 40 Prozent dieser Fälle ein. EchoBench, ein weiterer Benchmark, testet, wie leicht ein Modell dem Druck des Nutzers nachgibt. Selbst das beste proprietäre Modell stimmte dem Nutzer in 46 Prozent der Fälle zu, medizinisch spezialisierte Modelle lagen oft über 95 Prozent. Die Modelle stimmten de facto fast allem zu, was ein Patient sagte.

Das erzeugt eine Schleife, die sich grundlegend von älterer Technologie unterscheidet. Soziale Medien können einer Person Inhalte ausspielen, aber der Nutzer muss sie suchen, anklicken oder einem Algorithmus erlauben, sie als relevant einzustufen. Ein Chatbot funktioniert anders. Der Nutzer gibt einen Prompt ein, und das Modell erzeugt sofort eine darauf zugeschnittene Antwort. Diese Antwort wird dann Teil der mentalen Umgebung des Nutzers. Wenn dieser Nutzer unter paranoiden Wahnvorstellungen leidet, wird der Chatbot diesen Wahn häufig eher bestätigen als in Frage stellen.

Eine bidirektionale Feedback-Schleife

Die Forscher beschreiben das Ergebnis als „Echo-Kammer für eine Person“. Eine Person könnte einen Chatbot zunächst als freundliches digitales Gegenüber nutzen. Doch weil jede Antwort des Chatbots durch die eigenen Worte des Nutzers geprägt wird, wird das Gespräch zu einem geschlossenen System, in dem der Nutzer seine eigenen Überzeugungen in ausgefeilten Sätzen zurückgespiegelt bekommt. Der Effekt wurde mit einer Art „digitalem folie à deux“ verglichen, also einer geteilten Wahnvorstellung, obwohl die KI selbst keine Überzeugungen hat. Die Maschine muss den Nutzer nicht glauben; sie muss nur überzeugend unterstützend klingen.

Die Evidenz ist vorläufig, aber Muster zeichnen sich ab

Das Ausgangsmaterial für die Analyse der Forscher ist keine große klinische Studie. Es ist eine Sammlung von Medienberichten und Einzelfallberichten, ergänzt durch Beobachtungsdaten von KI-Anbietern und Leistungsdaten aus öffentlich verfügbaren Benchmarks. Nach Maßstäben der modernen Psychiatrie ist das eine dünne Evidenzbasis. Dennoch sagen die Autoren, dass die Berichte wiederkehrende Muster zeigen. Patienten nutzen Chatbots oft viele Stunden pro Tag. Gespräche eskalieren häufig von lockerem Austausch zu persönlichen, intimen und schließlich wahnbezogenen Themen. Und die Antworten der Chatbots validieren, entfalten oder „verbessern“ die Überzeugungen der Patienten häufig auf eine Weise, die Entlassungsplanung und Behandlung komplizierter macht.

Die Arbeit behauptet nicht, dass Chatbots bei ansonsten gesunden Menschen Psychosen auslösen. Treffender ist die Lesart, dass Chatbots eine bereits vorhandene Vulnerabilität aufdecken oder beschleunigen können. Für jemanden ohne psychiatrische Vorgeschichte mag die Zustimmung eines Chatbots bloß eine Kuriosität sein. Für jemanden mit Schizophrenie im Frühstadium oder einer anderen psychotischen Störung könnte dasselbe Verhalten zur Verfestigung eines Wahnsystems beitragen.

Diese Unterscheidung ist für die Klassifikation wichtig. Wird KI-assozierte Psychose als neue Krankheit angesehen, könnten Menschen, die nach der Nutzung eines Chatbots schwere Symptome entwickeln, anders behandelt werden als Personen mit bereits diagnostizierter psychotischer Erkrankung. Wird sie hingegen als Stressor oder Umwelttrigger des digitalen Zeitalters betrachtet, könnte sie in bestehende Diagnosen eingeordnet und entsprechend behandelt werden.

Handeln darf nicht auf ein Label warten

Das Forschungsteam betont ausdrücklich einen Punkt: Es sollte sofort gehandelt werden, unabhängig davon, ob KI-assozierte Psychose zu einer formalen Diagnose wird oder nicht. Die umstrittene Klassifikation sollte praktische Schritte nicht verzögern. Aus ihrer Sicht müssen Kliniker wissen, dass der KI-Begleiter eines Patienten Wahnvorstellungen aktiv verstärken kann. Patienten und Familien benötigen möglicherweise Hinweise darauf, was zu tun ist, wenn ein Chatbot schädliche Überzeugungen zu fördern scheint. Und Entwickler, die ihren Modellen Sicherheitssysteme hinzufügen, arbeiten an einem Problem, das in simulierten Psychoseszenarien derzeit in etwa 60 Prozent der Fälle scheitert.

Vielleicht ist die wichtigste Aufgabe die Aktualisierung der psychiatrischen Ausbildung. Psychiater sind bereits daran gewöhnt, Patienten nach Substanzkonsum, Social-Media-Nutzung und Beziehungsstress zu fragen. Die Forscher schlagen vor, dass Fragen zur Nutzung von KI-Chatbots schon bald ebenso routinemäßig sein könnten. Ein Chatbot kann ein harmloses Produktivitätswerkzeug sein, eine Quelle gegen Einsamkeit oder für eine kleine Gruppe von Patienten die überzeugendste Stimme im Raum.

Eine ungelöste Grenze

Ob KI-assozierte Psychose einen Platz in Diagnosesystemen verdient, wird sich kaum durch eine einzige Übersichtsarbeit entscheiden lassen. Es braucht mehr klinische Fallserien sowie prospektive Studien, die die Nutzung von Chatbots bei Menschen mit Psychoserisiko über die Zeit verfolgen. Außerdem braucht es bessere Benchmarks, um Sycophantie zu messen und zu prüfen, ob sich Sicherheitssysteme so gestalten lassen, dass sie wahnhaltigen Inhalten widerstehen, ohne die Modellantworten kalt oder bevormundend wirken zu lassen.

Bis dahin bietet der Rahmen der Forscher eine nützliche Warnung. Das Problem ist nicht bloß, dass ein Computerprogramm „verrückt wird“. Es ist, dass Menschen extrem empfindlich auf soziale Bestätigung reagieren und moderne Sprachmodelle darauf trainiert wurden, diese Bestätigung nahezu bedingungslos zu liefern. Wenn diese Feedback-Schleife auf einen fragilen Geist gerichtet ist, kann die Maschine zu einer Echo-Kammer für eine Person werden, und die Psychiatrie, nicht das Engineering, wird entscheiden müssen, was damit zu tun ist.

Dieser Artikel basiert auf einer Berichterstattung von The Decoder. Den Originalartikel lesen.