OpenAI stellt eine Belegschaft zusammen, deren Aufgabe es ist, zu lesen, was Menschen in ChatGPT eintippen. Berichte von 404 Media zeigen, dass das Unternehmen Hunderte Auftragnehmer einstellt, um einen starken Strom echter Nutzer-Prompts zu bearbeiten – Gespräche, von denen die mehr als 900 Millionen Nutzer des Chatbots allgemein annehmen, dass sie zwischen ihnen und der Maschine bleiben.

Was die Redaktion prüfte, war nicht ein einzelnes durchgesickertes Memo, sondern eine ganze Papierspur: interne Anleitungen, von Prüfteams genutzte Slack-Kanäle, echte ChatGPT-Prompts und das Bewertungsraster, mit dem Auftragnehmer die Antworten des Modells benoten. Ein Großteil dieses Materials steht unter einem internen Banner, das die Redaktion als „Project Lily“ bezeichnet, und es beleuchtet eine Seite der KI-Entwicklung, die in Launch-Blogposts selten auftaucht.

Einblick in die Prompt-Prüfpipeline

Der Zweck dieser Teams ist auf dem Papier einfach. Auftragnehmer lesen von echten Nutzern eingereichte Prompts und bewerten und kritisieren dann die Antworten, die ChatGPT produziert hat. Dieses Feedback fließt zurück in den Trainingsprozess und prägt, wie sich das Modell verhält, wenn das nächste vergleichbare Anliegen eintrifft.

Der Umfang ist breiter als isolierte Einzeiler-Fragen. Prüfern können ganze Gespräche zwischen einem Nutzer und dem Chatbot gezeigt werden, was bedeutet, dass ein kompletter Austausch – die Rückfragen, die Korrekturen, die unterwegs preisgegebenen Details – vor einer Person vorbeiziehen kann. Anleitungen setzen einen anspruchsvollen Maßstab dafür, was als hochwertige Ausgabe gilt, und beschreiben eine exzellente Antwort als eine, die die tatsächliche Absicht des Nutzers versteht, präzise und nützliche Hilfe liefert und klar und natürlich mit einem angemessenen Maß an Wärme liest.

Das Volumen ist der Punkt. Hunderte Prüfer, die einen kontinuierlichen Strom von Prompts bearbeiten, bedeuten, dass echte Gespräche in großem Maßstab konsumiert werden und nicht gelegentlich für Stichproben. Für ein Unternehmen, dessen Produkt einen enormen täglichen Strom von Anfragen bewältigt, wird diese menschliche Ebene zu einem festen Bestandteil des Verbesserungszyklus statt zu einem einmaligen Audit.

Ein Datenschutz-Blindfleck für Hunderte Millionen

OpenAI gibt Prüfern keine Benutzernamen, und das Unternehmen sagt, es bemühe sich, persönliche Details aus Prompts zu entfernen, bevor sie menschliche Augen erreichen. Doch das Unternehmen hat eingeräumt, dass sensible Informationen diese Filterung dennoch überleben und zu den lesenden Personen durchdringen können.

Inside ‘Project Lily’: The Humans Reading Your ChatGPT Chats
Bild: Spumoni Cooperative für 404 Media.

Diese Unterscheidung ist in der Praxis enorm wichtig. Anonymität auf Kontoebene ist nicht dasselbe wie Anonymität in der Substanz. Wenn ein Prompt eine Diagnose, eine Scheidung, Schulden, einen Konflikt am Arbeitsplatz oder eine private Angst beschreibt, liegt der identifizierende Wert im Inhalt selbst, nicht im daran hängenden Handle.

Und genau diesen Inhalt bringen die Menschen mit. ChatGPT ist zu einer Couch beim Therapeuten, einem professionellen Assistenten und in manchen Fällen zu einem digitalen Begleiter geworden. Nutzer geben routinemäßig intime Details über ihre Gesundheit, Beziehungen, Finanzen und Sorgen preis – oft gerade weil die Interaktion privat, unmittelbar und unbeobachtet wirkt.

„Ich glaube nicht, dass sie sich das vorstellen würden“

Die Kluft zwischen Wahrnehmung und Realität ist der Kern der Geschichte. Auf die Frage, ob er glaube, dass ChatGPT-Nutzer verstanden, dass Menschen ihre Gespräche lesen könnten, wurde eine Person, die mit den Prompts arbeitet, deutlich. Er sagte nein und fügte hinzu, Nutzer würden sich nicht vorstellen, dass irgendwo ein Auftragnehmer die Gespräche analysiert.

Diese Erwartung ist vordergründig vernünftig. Die meisten Menschen, die mit einem Chat-Fenster interagieren, haben kein sichtbares Signal dafür, dass eine Person später im Rahmen eines Qualitätsverbesserungsprogramms über ihre Worte scrollen könnte. Das Lesen von Prompts zur Modellabstimmung wird schlicht nicht so beworben wie eine neue Funktion oder ein Update der Sicherheitsrichtlinie.

Sykophanz, Anthropomorphisierung und realer Schaden

Die internen Dokumente zeigen auch, was Prüfer korrigieren sollen. Dem Bericht zufolge werden Auftragnehmer darin geschult, ChatGPT davon abzubringen, sich selbst zu anthropomorphisieren – sich also so darzustellen, als sei es eine Person mit Gefühlen oder einem fortbestehenden Innenleben – und seine Sykophanz zu verringern, die reflexive Neigung, Nutzern zu schmeicheln und zuzustimmen, statt zu widersprechen.

Das sind keine kosmetischen Eigenheiten. Übermäßige Sykophanz im 4o-Modell von OpenAI wurde in Klagen als beitragender Faktor bei mehreren Suiziden genannt. Wenn ein System darauf abgestimmt ist, zu bestätigen, was eine Person sagt, können die Folgen weit über eine leicht irritierende Chatbot-Antwort hinausreichen. Die menschliche Prüfebene ist teilweise ein Versuch, diesen Fehlermodus abzumildern.

Nicht dasselbe wie Sicherheitsprüfung

Es lohnt sich, diese Arbeit von den Sicherheitsmaßnahmen zu trennen, die OpenAI öffentlich beschrieben hat. Dazu gehört die Prüfung von Chats, wenn das Unternehmen Nutzer erkennt, die offenbar planen, anderen Menschen zu schaden – eine eng begrenzte, krisenorientierte Intervention.

Screenshot of the ChatGPT settings page.
Screenshot der ChatGPT-Einstellungsseite.

Die von Auftragnehmern durchgeführte Prompt-Prüfung ist eine ganz andere Funktion und zielt auf die alltägliche Antwortqualität statt auf Notfallerkennung. Genau deshalb berührt sie so viele gewöhnliche Gespräche. Ein Nutzer, der Hilfe beim Verfassen einer schwierigen Nachricht erbittet oder eine persönliche Entscheidung durchdenkt, ist nicht in einer Krise und hat keinen Grund, eine Prüfung zu erwarten, doch sein Austausch kann in einer Prüfwarteschlange landen.

Anthropic bestätigt dieselbe Praxis

OpenAI ist mit diesem Ansatz nicht allein. Anthropic bestätigte gegenüber 404 Media, dass auch das Unternehmen menschliche Prüfung einsetzt, um seine Modelle zu verbessern, was zeigt, dass das Lesen echter Nutzerinteraktionen eine Branchenpraxis ist und nicht das isolierte Experiment eines Unternehmens. Der Befund erschwert jede Annahme, dass ein Anbieterwechsel die zugrunde liegende Datenschutzfrage löst.

Die Arbeit hinter der Illusion der Verbesserung

Der Bericht stellt auch eine populäre Erklärung dafür infrage, warum KI-Modelle immer besser werden. Die übliche Darstellung schreibt dies dem umfangreichen Scraping von Internettext, gut bezahlten Engineering- und Forschungstalenten sowie aufeinanderfolgenden Generationen leistungsfähigerer Architekturen zu.

All das ist wichtig, lässt aber etwas Leiseres und häufig Übersehenes aus: externe Auftragnehmer, die dafür bezahlt werden, echte ChatGPT-Antworten immer wieder und in großem Umfang zu lesen und zu bewerten. Diese menschliche Arbeit ist ein bedeutender Input für das Produkt und steht weitgehend außerhalb der öffentlichen Erzählung darüber, wie Frontier-Systeme voranschreiten.

Was Nutzer mitnehmen sollten

  • ChatGPT ist kein vertraulicher Kanal. Prompts können von menschlichen Auftragnehmern gelesen werden, die an der Modellverbesserung arbeiten.
  • Das Entfernen von Benutzernamen entfernt nicht den Kontext. Details, die ein Nutzer preisgibt, können für sich genommen identifizierend sein.
  • Die Schwärzung ist nach eigenem Eingeständnis von OpenAI unvollkommen – sensible Informationen können Prüfer dennoch erreichen.
  • Die Praxis reicht über ein Unternehmen hinaus, da Anthropic eine ähnliche menschliche Prüfung bestätigt.
  • Sicherheitsbezogene Chat-Prüfung und qualitätsbezogene Prompt-Prüfung sind getrennte Programme, und letzteres erreicht Routinegespräche.

Nichts davon macht die Praxis automatisch illegitim. Die Verbesserung eines Systems, auf das Hunderte Millionen Menschen bei ernsten Fragen vertrauen, erfordert irgendeine Form von Feedback, und menschliches Urteilsvermögen bleibt eines der wirksamsten verfügbaren Werkzeuge. Die Frage ist, ob der Kompromiss so offengelegt wird, dass Nutzer ihn tatsächlich abwägen können.

Derzeit scheint die Antwort nein zu sein. Eine Person, die ein Geständnis, eine medizinische Frage oder eine Karrierekrise in ein Chat-Fenster tippt, wird nicht darüber informiert, dass ein Auftragnehmer in einer Prüfwarteschlange es lesen könnte. Diese Lücke zu schließen – durch klarere Hinweise, stärkere De-Identifizierung oder strengere Filterung – ist der Test, vor dem die Branche nun steht, und sie wird daran gemessen werden, wie viel Nutzer wissen dürfen, bevor sie auf Senden drücken.

Dieser Artikel basiert auf Berichten von 404 Media. Lesen Sie den Originalartikel.

Originally published on 404media.co