Synthetische Umfragen vor einer entscheidenden Prüfung: Können sich KI-Wähler verändern?

Künstliche-Intelligenz-Personas finden zunehmend Eingang in die Umfragebranche – als kostengünstige Möglichkeit, Fokusgruppen und Befragungen zu simulieren. Eine Forscherin der Syracuse University sagt jedoch, dass die Technologie einen grundlegenden Test bestehen muss, bevor sie als Ersatz für Wähler vertrauenswürdig sein kann: Sie muss in der Lage sein, Veränderungen der öffentlichen Meinung abzubilden.

Jennifer Stromer-Galley, Professorin an der School of Information Studies der Syracuse University, untersucht die Methodik von Umfragen. Sie warnt, dass eine KI-Persona auf eine Weise konsistent sein kann, wie es reale Menschen nicht sind. Die Antwort eines Wählers im Oktober kann sich von der Antwort unterscheiden, die er Monate später unter veränderten Umständen gibt. Ob synthetische Befragte diese Entwicklung darstellen können, hängt davon ab, wie sie erstellt und aktualisiert werden.

Diese Frage berührt den Kern synthetischer Umfragen. Mit dem Ansatz lassen sich anhand bestehender Umfragedaten und demografischer Informationen Hunderte oder Tausende von Personas auf Basis großer Sprachmodelle erstellen. Anschließend können diese Personas in künstlichen Befragungen oder Fokusgruppen eingesetzt werden. Der Vorteil liegt auf der Hand: Umfrageanbieter könnten ihr Angebot erweitern, ohne den logistischen Aufwand und die Kosten für die Rekrutierung realer Personen tragen zu müssen.

Was synthetische Umfragen leisten sollen

Traditionelle Umfragen erfassen Antworten von Menschen zu einem bestimmten Zeitpunkt. Synthetische Umfragen konstruieren stattdessen digitale Stellvertreter, die potenzielle Wähler oder andere Bevölkerungsgruppen repräsentieren sollen. Die Personas können mit demografischen Informationen versorgt werden, die für eine Umfrage relevant sind, und in manchen Fällen durch Dokumente und andere Materialien ergänzt werden, um ihre Positionen detaillierter zu machen.

Prinzipiell könnte ein Anbieter Personas mit detaillierten Perspektiven zu Themen und politischen Maßnahmen erstellen und sie anschließend an interessenbasierten Umfragen oder künstlichen Fokusgruppen teilnehmen lassen. Die Ergebnisse eines solchen Systems könnten für das Testen von Botschaften, die Untersuchung von Szenarien oder die Erweiterung von Forschungsangeboten nützlich erscheinen.

Stromer-Galley beschreibt das Feld als am Beginn eines „Zeitalters synthetischer Personas“. Für Umfrageunternehmen besteht die Aussicht darin, zusätzliche Forschung zu vergleichsweise geringen Kosten anzubieten. Niedrigere Betriebskosten lösen jedoch nicht die methodische Frage, ob generierte Antworten die öffentliche Meinung angemessen repräsentieren.

Konsistenz kann zum Mangel werden

Große Sprachmodelle arbeiten im Allgemeinen mit den Anweisungen und Informationen, die zur Erstellung einer Persona verwendet wurden. Dadurch können ihre Antworten stabil sein. Für manche Anwendungen ist stabiles Verhalten wünschenswert: Es kann Tests wiederholbar machen und die Beschreibung eines simulierten Teilnehmers erleichtern.

Umfragen befassen sich jedoch mit Menschen, deren Ansichten sich verändern können. Die Themen, die ein Befragter Anfang Oktober für besonders wichtig hält, müssen nicht dieselben sein, die er drei Monate später nennt. Veränderungen der persönlichen Lebensumstände, neue Informationen und Entwicklungen im öffentlichen Leben können beeinflussen, wie Menschen antworten.

Die Sorge besteht daher nicht nur darin, dass ein KI-System bei einer einzelnen Antwort ungenau sein könnte. Es geht vielmehr darum, dass ein System ein anfängliches Profil zu treu bewahren könnte. Wenn die Persona weiterhin ihre Ausgangsannahmen reproduziert, obwohl sich die realen Bedingungen ihres vermeintlichen Gegenübers verändert haben, könnte sie die Entwicklung übersehen, die Umfragen eigentlich erfassen sollen.

Dieses Problem wird besonders bedeutsam, wenn synthetische Ergebnisse als Signal für eine veränderte Stimmungslage interpretiert werden. Eine Gruppe von Personas kann schnell viele Antworten erzeugen, doch die Menge allein beweist nicht, dass diese Antworten die Entwicklung öffentlicher Einstellungen erfassen.

Warum die Lücke wichtig ist

Umfragen zur öffentlichen Meinung wurden historisch wegen ihrer Zuverlässigkeit, Vorhersagbarkeit und Konsistenz geschätzt. Synthetische Methoden verkomplizieren dieses Bild, weil sie eine andere Quelle der Unsicherheit einführen: die Gestaltung des modellierten Befragten.

Bei einer herkömmlichen Umfrage müssen Forscher weiterhin Entscheidungen über Stichprobe, Fragen und Analyse treffen. Die Antworten stammen jedoch von Menschen, die den gegenwärtigen Moment erleben. Bei einer KI-Persona werden die Anweisungen, Quelldaten und ergänzenden Materialien selbst Teil des Befragten. Die Annahmen des Systems über einen Wähler können die Antworten prägen, bevor überhaupt eine Frage gestellt wurde.

Damit werden Aktualisierung und Validierung zu zentralen Fragen. Wenn ein Umfrageunternehmen eine Persona aus demografischen Daten und einer Reihe politischer Signale erstellt, braucht es eine Möglichkeit festzustellen, ob spätere Ergebnisse echte Veränderungen im öffentlichen Umfeld widerspiegeln oder lediglich Variationen aus einem unveränderten zugrunde liegenden Profil darstellen.

Das Ausgangsmaterial belegt nicht, dass synthetische Umfragen grundsätzlich nutzlos sind. Es benennt eine offene Frage: ob die Technologie Veränderungen der öffentlichen Meinung berücksichtigen kann. Das ist eine engere, aber wichtige Herausforderung: Ein simulierter Wähler sollte nicht nur danach beurteilt werden, ob er heute eine plausible Antwort geben kann, sondern auch danach, ob er glaubwürdig reagiert, wenn sich die Bedingungen verändern, die reale Antworten prägen.

Eine methodische Frage, nicht nur eine KI-Frage

Bei der Debatte geht es letztlich um Belege. Umfrageunternehmen könnten KI-Personas als Chance sehen, umfangreichere Angebote zu schaffen, ohne die Kosten und Schwierigkeiten auf sich nehmen zu müssen, Befragte zu erreichen. Die Technologie kann Forschern zudem ermöglichen, schnell eine große Zahl von Szenarien zu testen. Diese Effizienz beweist jedoch nicht automatisch, dass synthetische Ergebnisse die öffentliche Meinung messen.

Damit synthetische Umfragen breiteres Vertrauen gewinnen, müssen ihre Entwickler den Unterschied zwischen einer gut beschriebenen Persona und einem lebenden Befragten berücksichtigen. Ein Profil, das eine zugewiesene Position zuverlässig wiederholt, kann in sich schlüssig sein. Es kann dennoch scheitern, eine Person zu repräsentieren, deren Prioritäten, Ansichten oder Lebensumstände sich verändert haben.

Diese Unterscheidung dürfte wichtiger werden, wenn Anbieter detaillierte politische Personas, künstliche Fokusgruppen und interessenbasierte Umfragen untersuchen. Je folgenreicher die Entscheidungen sind, die auf Grundlage der Ergebnisse getroffen werden, desto wichtiger ist es zu wissen, was die KI-Befragten tatsächlich modellieren.

Stromer-Galleys Warnung liefert einen nützlichen Maßstab für die Bewertung der nächsten Behauptungen in diesem Bereich. Synthetische Umfragen sollten nicht nur nach Geschwindigkeit, Umfang und scheinbarer Realitätsnähe beurteilt werden, sondern auch danach, wie gut sie mit zeitlichen Veränderungen umgehen können. Wenn sich die öffentliche Meinung verändert und KI-Personas sich nicht mit ihr verändern, könnte die Technologie geordnete Ergebnisse liefern und dennoch die Öffentlichkeit verfehlen, die sie repräsentieren soll.

Dieser Artikel basiert auf einer Berichterstattung von Phys.org. Den Originalartikel lesen.