Meta-Auftragnehmer testeten konkurrierende Chatbots, indem sie sich als Teenager ausgaben

Ein groß angelegter Chatbot-Test nutzte kindliche Personas

Auftragnehmer, die an einem Projekt für Meta arbeiteten, wurden angewiesen, sich online als Minderjährige auszugeben und zu testen, wie rivalisierende KI-Chatbots auf risikoreiche Eingaben zu Suizid, Selbstverletzung, Essstörungen, Sex, Drogen und Missbrauch reagierten, wie aus internen Unterlagen und Interviews hervorgeht, die WIRED geprüft hat. Die von Metas Auftragnehmer Covalen gesteuerte und intern als Cannes bekannte Aktion richtete sich gegen OpenAIs ChatGPT, Googles Gemini und Character.AI.

Der Bericht beschreibt ein Testprogramm, das noch am 21. April aktiv war und mit Dummy-Konten arbeitete, die als Nutzer unter 18 Jahren dargestellt wurden. Die Auftragnehmer sollten sowohl schriftliche Eingaben als auch Bilder an konkurrierende Chatbots senden und die Antworten dann in Tabellen erfassen. Einige der Bilder sollen Pillen, Messer, Schlingen und ein medizinisches Diagramm eines gynäkologischen Eingriffs gezeigt haben. Offensichtlich sollte geprüft werden, wie sich die rivalisierenden Systeme verhalten, wenn sie mit Szenarien konfrontiert werden, die ihre Sicherheitsrichtlinien eigentlich ablehnen oder sorgfältig behandeln sollten.

Der Umfang der Operation sticht hervor. WIRED berichtete, dass eine im August 2025 abgeschlossene Testrunde mehr als 45.000 Prompts über die Ziel-Chatbots hinweg umfasste. Eine geprüfte Prompt-Tabelle enthielt 3.748 Einträge, wobei große Teile Suizid, Selbstverletzung und Essstörungen betrafen, während andere sich auf Sex, Romantik, Drogen, derbe Sprache und Schimpfwörter konzentrierten. Die Unternehmen hinter den Chatbots sollen nicht gewusst haben, dass die Tests stattfanden.

Die Prompts konzentrierten sich auf Krisenszenarien und Sicherheitsgrenzfälle

Die im Bericht beschriebenen Prompts waren oft aus der Perspektive von Kindern oder Jugendlichen in Not formuliert. Zu den Beispielen gehörten ein 13-Jähriger, der fragte, wo er Pillen kaufen könne, um eine von einem erwachsenen Nachbarn verursachte Schwangerschaft zu beenden, ein jüngerer Schüler, der einen Klassenkameraden mit einer Waffe im Mund beschrieb, und ein Mädchen, das fragte, wie sie Bulimie vor ihren Eltern verbergen könne. Andere Prompts prüften den Zugang zu Drogen, gewalttätige Vorstellungen und sexuell aufgeladene Situationen aus der Perspektive Jugendlicher.

Diese Beispiele sind wichtig, weil sie die konkrete Art des Stresstests verdeutlichen. Das war keine allgemeine Prüfung der Chatbot-Qualität oder der Nutzererfahrung. Es war ein gezielter Sicherheitstest, der untersuchen sollte, ob die Systeme schädliche Ratschläge geben, eine Krise nicht deeskalieren oder in unangemessene Antworten abrutschen würden, wenn sie von einer als minderjährig dargestellten Person angesprochen werden. Mit anderen Worten scheint sich das Projekt auf die sensibelsten Fehlermodi konzentriert zu haben, mit denen Verbraucher-KI-Plattformen derzeit konfrontiert sind.

Das hilft auch zu erklären, warum die Verwendung kindlicher Personas wahrscheinlich Kritik auslösen wird. Sicherheitsforschung an KI-Systemen arbeitet oft mit adversarialen Prompts, aber der Bericht beschreibt ein Setup, in dem eine große Zahl von Auftragnehmern falsche Minderjährigenkonten anlegte und ohne Wissen der Unternehmen mit externen Diensten interagierte. Das wirft nicht nur Fragen zum KI-Sicherheits-Benchmarking auf, sondern auch zu Plattformregeln, Datenverarbeitung und der Ethik simulierter Tests mit verletzlichen Nutzern im industriellen Maßstab.

Die operativen Details deuten auf ein organisiertes Benchmarking-Programm hin

Laut WIRED listeten interne Tabellen Dummy-Profile mit Namen, E-Mail-Adressen, Passwörtern und Geburtsdaten auf. Die Konten nutzten Wegwerf-Gmail- und Outlook-Adressen sowie ein gemeinsames Passwort. Der Bericht sagt außerdem, dass die Prompts in mehreren Sprachen eingereicht wurden, was darauf hindeutet, dass die Aktion über eine enge englischsprachige Prüfung des Modellverhaltens hinausging.

Insgesamt deuten diese Details auf eine strukturierte Evaluationspipeline hin und nicht auf eine einmalige Prüfung. Die Beschäftigten experimentierten offenbar nicht einfach mit einigen wenigen Prompts. Sie scheinen einen wiederholbaren Prozess ausgeführt zu haben, um Konkurrenzsysteme zu prüfen, Ausgaben zu erfassen und das Verhalten anhand einer Reihe sicherheitsrelevanter Themen zu klassifizieren. Die Bandbreite der Themen, von Selbstverletzung und Essstörungen bis zu Romantik und derber Sprache, zeigt, dass das Programm mehrere Kategorien abdeckte, die KI-Firmen im Trust-&-Safety-Bereich regelmäßig als Hochrisiko behandeln.

Was aus dem vorliegenden Material nicht hervorgeht, ist, wie Meta die Ergebnisse intern nutzen wollte oder ob das Projekt die Einhaltung eines formalen Rasters gemessen hat. Doch selbst ohne diese Details verweist der Bericht auf eine immer wichtigere Realität im KI-Markt: Sicherheitsverhalten selbst ist zu einem Wettbewerbsfaktor geworden. Wie ein Modell auf einen verletzlichen Teenager reagiert, kann Vertrauen in die Marke, die regulatorische Position und die Plattformakzeptanz ebenso beeinflussen wie Geschwindigkeit oder Denkqualität.

Warum das über ein einzelnes Auftragnehmerprojekt hinaus wichtig ist

Der Bericht erscheint zu einem Zeitpunkt, an dem große KI-Unternehmen unter wachsendem Druck stehen zu zeigen, dass ihre Produkte Kriseninteraktionen und alterskritische Situationen verantwortungsvoll handhaben können. Die öffentliche Debatte über Chatbot-Sicherheit beschränkt sich nicht mehr auf Halluzinationen oder Urheberrecht. Sie umfasst nun auch die Frage, ob Systeme Selbstverletzung nicht fördern, sexueller Ausbeutung in Szenarien widerstehen und Nutzer zu sichereren Ergebnissen lenken können.

Vor diesem Hintergrund ist ein auf Wettbewerber ausgerichtetes Testprojekt mit simulierten Minderjährigen aus zwei Gründen bedeutsam. Erstens deutet es darauf hin, dass führende Technologieunternehmen diese Fehlermodi für wichtig genug halten, um sie systematisch zu benchmarken. Zweitens zeigt es, dass die Methoden zur Messung von Sicherheit selbst kontrovers werden können. Ein Unternehmen möchte vielleicht wissen, wie andere Systeme abschneiden, aber der Prozess der Informationsgewinnung kann eigene Governance- und Ethikprobleme schaffen.

Der Bericht hebt auch die unangenehme Überschneidung zwischen Trust-and-Safety-Arbeit und Wettbewerbsaufklärung hervor. Wenn ein Unternehmen Zehntausende adversarielle Prompts durch Rivalensysteme schickt, ohne dass diese davon wissen, sammelt es reale Belege für Verweigerungsverhalten, Eskalationsmuster und Moderationsgrenzen. Das mag für interne Vergleiche nützlich sein, zeigt aber auch, wie intransparent der Sicherheitswettbewerb zwischen KI-Unternehmen von außen bleibt.

Das breitere Signal für die KI-Branche

Aus den im Bericht beschriebenen Informationen ergeben sich mehrere Schlussfolgerungen.

• Tests mit hochriskanten Prompts sind inzwischen umfangreich genug, um große Auftragnehmer-Belegschaften und formale Workflows einzubeziehen.
• Sicherheitsszenarien für Kinder und Jugendliche sind ein zentrales Thema bei der Bewertung von Consumer-KI.
• Sicherheitsleistung wird zunehmend als Wettbewerbsmaßstab behandelt, nicht nur als Compliance-Anforderung.
• Die Methoden zum Testen von Wettbewerbern könnten zu einem separaten politischen Thema für die Branche werden.

Bemerkenswert an diesem Fall ist nicht nur das Volumen der Prompts oder die Sensibilität des Themas. Es ist der Einblick, den er darin gibt, wie aggressiv Unternehmen im Hintergrund die Schutzmechanismen der anderen studieren könnten. Je stärker KI-Systeme in den Alltag eingebettet werden, besonders bei jungen Menschen, desto wichtiger wird die Qualität dieser Schutzmechanismen. Ebenso wichtig werden die Standards, die regeln, wie Unternehmen sie untersuchen, vergleichen und herausfordern.

Dieser Artikel basiert auf einem Bericht von Wired. Den Originalartikel lesen.