KI-Benchmarks müssen Wissenschaft werden, keine Rangliste

Benchmarks für künstliche Intelligenz sollen Fortschritt sichtbar machen. Ein Modell absolviert einen standardisierten Test und erhält eine Punktzahl, die Vergleiche ermöglicht. Doch diese Einfachheit kann ein ernstes Problem verdecken: Ein Benchmark kann das Feld formen, das er messen soll.

Moritz Hardt, Direktor am Max Planck Institute for Intelligent Systems, hält modernes KI-Benchmarking für grundlegend fehlerhaft, obwohl es das maschinelle Lernen vorangebracht hat. Ergebnisse werden zu leicht als Beweis für Intelligenz, Fähigkeit oder Zuverlässigkeit in der Praxis verstanden.

Wenn der Score zum Ziel wird

Wird ein Maßstab zum Ziel, optimieren Menschen und Institutionen den Maßstab selbst. Beim maschinellen Lernen kann das Systeme hervorbringen, die auf einem festen Datensatz oder Leaderboard hervorragend abschneiden, ohne die eigentlich gewünschte breitere Fähigkeit zu erwerben.

Hardt warnte, Systeme könnten ihre Platzierung „ohne irgendetwas Intelligentes zu tun“ verbessern. Ein hoher Score kann echten Fortschritt zeigen, aber auch nur die Anpassung an die Besonderheiten eines Tests.

Die Vielzahl von Tests für große Sprachmodelle hat das Problem sichtbarer gemacht. Der schnelle Kreislauf aus Benchmark-Erstellung und -Lösung fördert einen engen Wettbewerb: Test finden, darauf trainieren, den alten Score übertreffen und weitergehen.

Eine Geschichte übergroßen Einflusses

Benchmarks haben die Richtung der KI-Forschung mehrfach verändert. 1987 zeigte ein DARPA-Test zur automatischen Sprach-zu-Text-Übertragung, dass führende Systeme einfache statistische Ansätze nicht übertrafen. Das trug zu sinkendem Interesse und geringerer Finanzierung bei.

ImageNet hatte 2012 den gegenteiligen Effekt: Es stellte die Leistung eines acht Schichten umfassenden neuronalen Netzes heraus und half, die Deep-Learning-Revolution auszulösen. Benchmarks definieren nicht nur Fortschritt, sondern auch, was als Fortschritt gilt.

In seinem Buch von 2026, The Emerging Science of Machine Learning Benchmarks, nennt Hardt Benchmarks „den Fehler, der maschinelles Lernen möglich machte“, erkennt aber auch ihren Beitrag zu echtem Fortschritt an.

Was bessere Evaluation erfordern würde

Benchmarking als strengere Wissenschaft zu verstehen bedeutet, Evaluation als fortlaufende Forschungsfrage zu behandeln. Entscheidend ist, was ein Test misst, wie stark er dem vorgesehenen Einsatz ähnelt und ob Modelle speziell darauf angepasst wurden.

Komplexe Fähigkeiten sollten nicht auf eine einzige Zahl reduziert werden. Ein Modell kann bei einer Frage stark und bei einer anderen schwach sein oder bei kleinen Aufgabenänderungen scheitern. In der Praxis zählen diese Grenzen ebenso wie Spitzenleistungen.

Das Ziel ist nicht der Verzicht auf standardisierte Tests, sondern transparentere und weniger leicht oberflächlich optimierbare Evaluationen.

Mit der KI-Nutzung steigen die Folgen

Benchmark-Ergebnisse beeinflussen Kaufentscheidungen, Investitionen und die Einschätzung, ob ein System für eine Aufgabe bereit ist. Ein Score kann daher wirtschaftliche und gesellschaftliche Folgen haben.

Hardts Kritik erinnert daran, dass ein steigendes Leaderboard nicht zwingend tiefere Intelligenz bedeutet. Scores sind Belege, keine Urteile.

Dieser Artikel basiert auf einer Meldung von Quanta Magazine. Originalartikel lesen.