Peer Review gerät unter dem Gewicht des KI-Forschungsbooms ins Wanken

Der wissenschaftliche Qualitätsfilter zeigt Überlastungsanzeichen

Peer Review steht im Zentrum des modernen wissenschaftlichen Publizierens. Bevor ein Paper offiziell veröffentlicht wird, werden in der Regel externe Fachleute gebeten zu prüfen, ob Methoden, Argumentation und Schlussfolgerungen tragfähig sind. Das Verfahren ist unvollkommen, langsam und oft frustrierend, bleibt aber einer der wichtigsten Mechanismen der Wissenschaft, um Fehler auszusortieren und Glaubwürdigkeit zu signalisieren.

Dieser Mechanismus steht inzwischen sichtbar unter Druck. Ein neuer Bericht von Ars Technica beschreibt ein Publikationssystem, das mit dem starken Anstieg der Einreichungen, einschließlich KI-gestützter Manuskripte, kaum Schritt halten kann und dabei weiterhin stark auf die freiwillige Arbeit aktiver Forschender angewiesen ist. Die Folge sind nicht nur längere Durchlaufzeiten. In einigen Fällen scheint die Begutachtungsqualität schlechter, die Prüfung dünner und die redaktionelle Entscheidung mit weniger Expertise getroffen zu werden, als das System eigentlich liefern sollte.

Wenn ein Gutachter zum einzigen Tor wird

Der Artikel beginnt mit der Erfahrung des Gesundheitsökonomen Jason Semprini, der ein Paper einreichte, das Richtlinien untersuchte, nach denen Grundschüler die Impfung gegen das Humane Papillomavirus erhalten sollen. Laut Bericht stellte seine Studie nicht infrage, ob der HPV-Impfstoff Gebärmutterhalskrebs verhindert. Sie untersuchte stattdessen, ob solche Vorgaben die Impfrate so weit erhöhen, dass sich die Gebärmutterhalskrebsraten auf Bevölkerungsebene verändern.

Diese Unterscheidung war wichtig, und der Gutachter scheint sie übersehen zu haben. Das Manuskript wurde Berichten zufolge so beurteilt, als würde es den klinischen Wert des Impfstoffs infrage stellen, statt das politische Instrument zur Erhöhung der Impfquote zu analysieren. In einem robusteren Begutachtungsprozess hätten mehrere Gutachter dieses Missverständnis womöglich ausgeglichen oder korrigiert. In diesem Fall gab es jedoch nur einen Gutachter, und das Paper wurde abgelehnt.

Die Anekdote ist nützlich, weil sie das strukturelle Problem auf den Punkt bringt. Peer Review war schon immer anfällig für Bias, Unaufmerksamkeit und einfachen menschlichen Fehler. Unter Überlastung werden solche Fehler jedoch seltener durch Redundanz aufgefangen. Wenn Redaktionen nicht genügend qualifizierte Gutachter rekrutieren können, kann eine hastige oder missverstandene Einzelprüfung ausschlaggebend werden.

Ein System auf Basis unbezahlter Expertise stößt an Skalengrenzen

Der Bericht verweist auf die größeren Zahlen hinter diesem Druck. Laut Ausgangstext steigen die in Scopus und Web of Science indexierten Paper exponentiell um 5,6 Prozent pro Jahr. Das klingt für sich genommen noch beherrschbar, aber das akademische Begutachtungssystem wächst nicht automatisch mit. Jedes neue Paper braucht Redaktionen, Gutachter, Überarbeitungen und wiederholte Aufmerksamkeitsschleifen.

Eine im Artikel zitierte Schätzung beziffert die weltweite Arbeitszeit für Peer Review auf insgesamt 15.000 Arbeitsjahre pro Jahr. Für den Anteil allein in den USA lägen die impliziten Kosten bei 1,5 Milliarden US-Dollar, wenn diese Arbeit bezahlt würde. Tatsächlich wird der Großteil davon nicht vergütet. Er wird gespendet, oft anonym, von Forschenden, die bereits mit eigenen Experimenten, Lehre, Förderanträgen, Verwaltung und Publikationsanforderungen jonglieren.

Dieses Missverhältnis hat offensichtliche Folgen. Redaktionen haben Mühe, willige Gutachter zu finden. Qualifizierte Forschende lehnen mehr Einladungen ab. Wer zusagt, ist oft überlastet. Und wenn der Kreis der Gutachter kleiner wird, begnügen sich Zeitschriften womöglich mit weniger Berichten pro Paper oder mit weniger passenden Matches zwischen Manuskript und Fachwissen des Gutachters.

Keine dieser Anpassungen zerstört den Wert von Peer Review zwangsläufig sofort. Aber jede verringert seine Zuverlässigkeit. Wissenschaftliches Publizieren hängt nicht nur davon ab, dass eine Begutachtung stattfindet, sondern auch davon, dass sie sorgfältig, informiert und unabhängig genug ist, um Probleme vor der Veröffentlichung zu erkennen oder Arbeiten aus den falschen Gründen nicht abzulehnen.

Warum KI Druck erzeugt, auch wenn sie nicht die alleinige Ursache ist

Der Artikel rahmt den aktuellen Druck teilweise durch das KI-Zeitalter, und dieser Schwerpunkt ist bedeutsam. KI-Tools können die Reibung beim Entwerfen, Überarbeiten und Neuaufbereiten von Papers senken. Das macht die zugrunde liegende Wissenschaft nicht automatisch schlechter, kann aber das Volumen der bei Zeitschriften eingehenden Einreichungen erhöhen. Wenn Schreiben und Formatieren leichter werden, verschiebt sich der Engpass nach hinten zur Bewertung.

In diesem Sinn kann KI ein Problem verstärken, das sich ohnehin schon entwickelt hat. Die Forschungsproduktion steigt seit Jahren über viele Disziplinen hinweg. Das Begutachtungssystem hängt jedoch weiterhin von knapper und schwer skalierbarer Expertenaufmerksamkeit ab. Selbst wenn KI-gestützte Papers nicht per se schlechter sind, tragen sie zu einer Welt bei, in der mehr Manuskripte schneller produziert werden können, als sie gründlich begutachtet werden können.

Die unmittelbarste Gefahr ist nicht, dass jedes KI-gestützte Paper fehlerhaft ist. Sie besteht darin, dass Gutachterkapazität zur begrenzenden Ressource wird, die entscheidet, welche Behauptungen ernsthaft geprüft werden. Ein gesättigtes System ist anfälliger für oberflächliche Reviews, missverstandene Methoden, inkonsistente Standards und Publikationsentscheidungen, die von zu wenigen Augen abhängen.

Was für die Wissenschaft auf dem Spiel steht

Peer Review war nie eine Garantie für Wahrheit, und Kritiker haben seine blinden Flecken seit Langem dokumentiert. Doch ein geschwächtes Begutachtungssystem schafft ein schwierigeres Problem für Wissenschaft und Öffentlichkeit. Wenn Zeitschriften nicht verlässlich mehrere kompetente Gutachter rekrutieren können, wird ihre Rolle als Qualitätsfilter genau in dem Moment weniger belastbar, in dem die Forschungsproduktion beschleunigt.

Das ist weit über die akademische Welt hinaus relevant. Politik, Medizin, Investoren und Öffentlichkeit nutzen die Veröffentlichung in Fachzeitschriften regelmäßig als Ersatzsignal für Legitimität. Wird der Weg zur Veröffentlichung dünner, wird auch dieses Signal verrauschter. Gleichzeitig kann wertvolle Forschung verzögert oder aus vermeidbaren Gründen abgelehnt werden, wie im von Ars Technica hervorgehobenen Fall.

Der Bericht liefert keine einfache Lösung, und genau das ist aufschlussreich. Das Arbeitslastproblem ist strukturell. Die Wissenschaft will mehr Output, Zeitschriften wollen zeitnahe Veröffentlichung, Forschende brauchen Karrierefortschritt, und KI macht die Texterstellung einfacher. Doch der zentrale Qualitätssicherungsakt des Systems hängt weiterhin an unbezahlter Expertenarbeit, die nicht unendlich skalierbar ist.

Die nächste Phase dieser Debatte dürfte sich darauf konzentrieren, ob Peer Review neu gedacht, vergütet, triagiert oder technisch besser unterstützt werden muss. Vorläufig ist die Warnung einfacher: Die Begutachtungsmaschine, auf der wissenschaftliche Glaubwürdigkeit beruht, steht unter realem Druck, und das KI-Zeitalter macht diesen Druck schwerer zu ignorieren.

• Ein wachsender Anteil des Peer Reviews scheint mit weniger Gutachtern pro Paper stattzufinden.
• Publikationsdatenbanken wachsen laut Bericht jährlich um 5,6 Prozent.
• Freiwillige Gutachter leisten insgesamt enorme Mengen unbezahlter Arbeit.
• KI-gestütztes Verfassen kann das Einreichungsvolumen beschleunigen, auch wenn die wissenschaftliche Qualität variiert.
• Das Hauptrisiko ist dünnere Prüfung, nicht nur langsamere Veröffentlichung.

Dieser Artikel basiert auf einer Berichterstattung von Ars Technica. Zum Originalartikel.