Studie warnt: KI kann neue Einstellungsbias erzeugen, statt nur alte zu erben

Große Sprachmodelle können in Rekrutierungsaufgaben ihre eigenen Stereotype erzeugen

Warnungen vor künstlicher Intelligenz im Recruiting konzentrieren sich meist auf ein bekanntes Risiko: Wenn ein Modell mit voreingenommenen historischen Daten trainiert wird, kann es diese Verzerrungen reproduzieren und verstärken. Eine neue, von Gizmodo hervorgehobene Studie verweist auf eine beunruhigendere Möglichkeit. Große Sprachmodelle spiegeln menschliche Vorurteile nicht nur wider. Unter bestimmten Bedingungen können sie neue soziale Biases selbst erzeugen.

Die Forschung, durchgeführt von Wissenschaftlern der Princeton University und der University of Chicago, testete Sprachmodelle in einem kontrollierten Einstellungs-Spiel, das zuvor bereits mit menschlichen Teilnehmenden verwendet worden war. Das Setting entfernte reale ethnische Kategorien und ersetzte sie durch fiktive Gruppen, sodass die Forschenden beobachten konnten, wie Stereotype entstehen, wenn keine echten zugrunde liegenden Gruppenunterschiede existieren.

Laut der Studienzusammenfassung zeigte sich, dass die Sprachmodelle häufig stärkere Verzerrungen entwickelten als die menschlichen Teilnehmenden. Diese Erkenntnis ist wichtig, weil sie die politische Debatte verschiebt. Wäre das Problem nur kontaminierte historische Daten, könnten Entwickler argumentieren, dass bessere Kuratierung, Debiasing oder Audits der Trainingskorpora den Großteil des Problems lösen würden. Wenn Modelle aber durch ihr eigenes, auf Belohnung ausgerichtetes Verhalten in Entscheidungssituationen diskriminierende Muster erzeugen, wird die Governance-Herausforderung deutlich größer.

Ein kontrollierter Test mit erfundenen demografischen Gruppen

Im Experiment wurden Kandidaten einer von vier erfundenen ethnischen Gruppen zugeordnet: Tufa, Aima, Reku oder Weki. Ansonsten waren sie gemäß Design in jeder Rolle gleich wahrscheinlich erfolgreich. Die Teilnehmenden, ob Mensch oder Maschine, mussten Bewerberinnen und Bewerber Stellen zuweisen und erhielten danach Feedback, ob die Einstellungsentscheidung erfolgreich war.

Diese Feedback-Schleife ist entscheidend. Sobald ein Teilnehmender nach der Zuordnung eines Mitglieds einer bestimmten fiktiven Gruppe zu einer bestimmten Rolle ein negatives Ergebnis erhielt, wurde er oft weniger geneigt, dieselbe Paarung erneut zu wählen. Menschen in der früheren Version des Spiels zeigten diese Tendenz, und sie trugen diese erlernten Vorurteile mitunter sogar nach Spielende weiter.

Die Sprachmodelle verhielten sich ähnlich, aber noch ausgeprägter. Die Studienzusammenfassung sagt, dass die Modelle höhere Bias-Raten als Menschen aufwiesen und spontan soziale Stereotype um völlig künstliche Gruppen bilden konnten. Da die Gruppen fiktiv waren und die Kandidaten konstruktionsbedingt gleich qualifiziert, konnte die beobachtete Diskriminierung nicht durch reale Gruppenunterschiede erklärt werden.

Das verleiht dem Ergebnis ungewöhnliches Gewicht. Es deutet darauf hin, dass das Modell von spärlichem Feedback zu dauerhaften kategoriebasierten Annahmen übergehen kann, selbst wenn diese Annahmen keine faktische Grundlage haben. Praktisch kann ein System, das für wiederholte Personalentscheidungen optimiert ist, in grobes Mustermachen abrutschen, weil dies unter Unsicherheit ein effizienter Shortcut ist.

Warum der „Explore-Exploit“-Trade-off zählt

Die Forschenden verbinden das Ergebnis mit einem klassischen Prinzip der Entscheidungsforschung, dem sogenannten Explore-Exploit-Trade-off. In unsicheren Situationen kann ein Akteur entweder explorieren, also Optionen ausprobieren, über die er weniger weiß, oder exploitieren, also bei Entscheidungen bleiben, die sich zuvor bewährt zu haben scheinen.

Menschen tun das ständig. Doch Menschen bringen auch moralische Normen, Zögern und soziale Beschränkungen in ihre Entscheidungen ein, was rein auf Belohnungsmaximierung ausgerichtetes Verhalten dämpfen kann. Die Studie argumentiert, dass KI-Systeme weniger zum Explorieren motiviert sind und eher dazu neigen, das zu optimieren, was begrenztes Feedback scheinbar belohnt. Das eröffnet einen Weg zur Stereotypenbildung.

Sobald ein Modell ableitet, dass eine Kategorie mit Erfolg oder Misserfolg in einer bestimmten Rolle zusammenhängen könnte, kann es diese Annahme weiter ausnutzen, statt sie zu hinterfragen. Die Gefahr besteht nicht nur darin, dass die Annahme falsch ist. Sie besteht darin, dass das System Zufall in eine Regel verwandeln und dann so handeln kann, als wäre diese Regel sinnvoll.

Das hat offensichtliche Folgen für Recruiting-Software, Tools zur Lebenslauf-Vorsortierung und KI-Assistenten, die Kandidaten zusammenfassen oder ranken. Selbst wenn Entwickler explizite Verweise auf Rasse, Geschlecht oder andere geschützte Merkmale entfernen, können Modelle dennoch Ersatzmuster bilden, wenn Kategorien oder Proxy-Variablen im Workflow auftauchen. Die Studie zeigt, dass Bias aus dem Entscheidungsprozess selbst entstehen kann, nicht nur aus dem dahinterliegenden Trainingsarchiv.

Leistungsstärkere Modelle waren nicht zwangsläufig sicherer

Ein weiterer bemerkenswerter Punkt in der Quellenzusammenfassung ist, dass die Forschenden 15 Modelle großer Anbieter testeten, darunter OpenAI, Anthropic, DeepSeek, Meta, Google und Alibaba. Einer der auffälligsten Befunde war, dass neuere und größere Modelle mit stärkeren Denkfähigkeiten innerhalb einer Modellfamilie tendenziell stärker voreingenommene Ergebnisse erzeugten.

Das widerspricht einer verbreiteten öffentlichen Erzählung, nach der fortschrittlichere Modelle in sensiblen Bereichen natürlicherweise vertrauenswürdiger werden. Besseres Denken kann viele Aufgaben verbessern, aber diese Studie legt nahe, dass es ein Modell auch effektiver darin machen kann, sich auf enge, belohnungsmaximierende Strategien zu fixieren, die sich zu diskriminierendem Verhalten verfestigen.

Die Zusammenfassung sagt ausdrücklich, dass OpenAIs o3-Reasoning-Modell die fiktiven Bewerber unter den getesteten Systemen am stärksten stratifizierte. Für sich genommen sagt das nicht aus, wie sich ein bestimmtes Modell in einem produktiven Recruiting-Produkt verhalten würde. Es unterstreicht aber eine breitere Lehre: Benchmark-Gewinne und Reasoning-Leistung ersetzen keine Fairness-Tests unter realistischen Entscheidungsbedingungen.

Was Unternehmen und Regulierer daraus mitnehmen sollten

Für Arbeitgeber ist die unmittelbare Lehre, dass „KI-gestützt“ nicht bias-neutral bedeutet. Eine Anbieterbehauptung, ein System vermeide explizite menschliche Vorurteile, ist ein zu enger Maßstab, wenn das Modell durch wiederholte Feedback-Schleifen Kategorienpräferenzen erzeugen kann. Einkaufsteams müssen fragen, wie sich ein Modell im Zeitverlauf verhält, wie es Muster aktualisiert oder verstärkt und ob es in einem Bereich eingesetzt wird, in dem falsche Verallgemeinerungen direkte Auswirkungen auf die Chancen von Menschen haben können.

Für Regulierer spricht die Studie für einen Wechsel weg von statischen Audits allein. Ein einmaliger Test auf einem eingefrorenen Datensatz kann ein System übersehen, das mit Ergebnissen, Nutzeraufforderungen oder nachgelagerten Optimierungssignalen immer diskriminierender wird. Aufsicht könnte Simulations-Stresstests, kontinuierliches Monitoring und klarere Regeln dafür benötigen, wann KI aus hochriskanten Auswahlverfahren vollständig ausgeschlossen werden sollte.

Das größere Problem ist konzeptionell. Die öffentliche Debatte hat KI-Bias oft als historisches Restproblem gerahmt: Die Gesellschaft war unfair, Daten haben diese Unfairness erfasst, und Modelle haben sie geerbt. Diese Forschung legt nahe, dass einige Systeme auch Motoren neuer Ungerechtigkeit sein können, indem sie aus schwachen Signalen Stereotype zusammensetzen, weil dies innerhalb einer Aufgabe instrumentell nützlich ist.

Diese Möglichkeit sollte die akzeptablen Einsatzbereiche von Sprachmodellen im Recruiting verengen. Mindestens spricht sie für viel strengere menschliche Prüfung und Skepsis gegenüber automatischem Ranking. Im schlimmsten Fall kann das bedeuten, dass manche Beschäftigungsentscheidungen einfach zu sensibel sind, um sie Systemen zu überlassen, die Rauschen in soziale Urteile verwandeln können.

Dieser Artikel basiert auf einer Berichterstattung von Gizmodo. Den Originalartikel lesen.