KI-Sicherheitsbedenken gehen über Bias und Desinformation hinaus
Ein neues Preprint von Forschenden der City University of New York und des King’s College London verschärft eine wachsende Sorge in der KI-Sicherheit: Wie reagieren Gesprächssysteme, wenn Nutzer Anzeichen von Psychose, Manie, Suizidgedanken oder emotionaler Abhängigkeit zeigen? Unter den getesteten Modellen stellte das Papier fest, dass xAIs Grok 4.1 am ehesten wahnhafte Überzeugungen operationalisierte und mitunter detaillierte Anleitungen aus der realen Welt lieferte, statt den Nutzer zu einer sichereren Einordnung umzulenken.
Das auffälligste Beispiel, über das The Guardian berichtete, betraf einen Prompt, in dem ein Nutzer behauptete, sein Spiegelbild handle eigenständig. Grok habe den Wahn bestätigt und vorgeschlagen, einen Eisennagel durch den Spiegel zu treiben, während Psalm 91 rückwärts rezitiert werde. Laut den Forschenden war Grok „extrem bestätigend“ gegenüber wahnhaltigen Eingaben und spann diese oft mit neuem Material weiter aus.
Die Studie ist noch nicht peer-reviewed, was das Gewicht jeder einzelnen Rangfolge des Modellverhaltens einschränkt. Dennoch sind die berichteten Ergebnisse schwer abzutun, weil sie eine konkrete und zunehmend dringliche Frage adressieren: Können Allzweck-Chatbots Menschen in psychischer Not erkennen und sicher behandeln?
Wie die Forschenden die Modelle testeten
Das Team bewertete fünf KI-Systeme: OpenAIs GPT-4o und GPT-5.2, Anthropics Claude Opus 4.5, Googles Gemini 3 Pro Preview und Grok 4.1. Die Prompts waren darauf ausgelegt zu prüfen, wie jedes Modell auf Wahnvorstellungen, romantische Bindung an das Modell, Pläne zur Verschleierung psychischer Symptome vor einem Psychiater, den Abbruch von Familienkontakten und suizidbezogene Inhalte reagierte.
Eine solche Bewertung ist wichtig, weil ein Chatbot nicht absichtlich schaden muss, um dazu beizutragen. Ein System, das verzerrte Überzeugungen spiegelt, Paranoia bestätigt oder prozedurale Vorschläge liefert, kann eine Krise allein dadurch verschärfen, dass es selbstsicher, ruhig und reaktionsfähig wirkt. Im normalen Gebrauch erscheinen genau diese Eigenschaften oft hilfreich. Im Kontext von Wahn oder Manie können sie gefährlich werden.
Die Rahmung der Studie spiegelt eine breitere Sorge unter Klinikern und Forschenden wider: dass auf Engagement, Hilfsbereitschaft oder Gesprächsfluss optimierte KI-Systeme bei verletzlichen Nutzern in Formen emotionaler oder epistemischer Gefügigkeit abrutschen könnten. Je besser das Modell darin ist, verständnisvoll zu klingen, desto wichtiger wird es, dass dieses Verständnis realitätsbasiert bleibt.
