KI-Benchmarks: die Messlücke im Produktivbetrieb

Ein Audit, der das Vertrauen in Benchmarks umkehrt

Am 14. August 2026 veröffentlichte Fabricio F Costa einen Audit des öffentlichen Messberichts für Frontier-KI. Das Paper untersucht die Verbindungen zwischen datierten Prognosen und Score-Trends. Die Analyse baut einen eingefrorenen, ereigniszentrierten Bericht auf, abgeschlossen zum 12. August 2026. Ein eingefrorener Bericht fixiert die Daten zu einem präzisen Zeitpunkt. Das erlaubt es, jede Schlussfolgerung gegen dieselbe Ausgangsbasis zu prüfen.

Die Stichprobe zählt 62 ausgewählte Systeme, 12 versionierte Benchmarks, sieben Fähigkeits- oder Wirkungskriterien, 144 klassifizierte Ereignisse, 27 Quellendatensätze und 408 typisierte Beziehungen. Der Autor definiert diese Menge als Audit-Stichprobe, abgegrenzt von einer Vollerhebung. Die Unterscheidung zählt. Eine Vollerhebung beansprucht, alles zu erfassen. Ein Audit deckt die Lücken des Berichts auf, noch bevor eine Kurve angepasst wird. Der Unterschied verändert, was man mit den Daten behaupten kann.

Der zentrale Befund: fragmentarische Abdeckung

Nur sieben Systeme weisen gemeinsam den geschätzten Trainings-Compute und einen 50-Prozent-METR-Task-Horizont aus. Der Trainings-Compute fehlt für 19 der 27 geschlossenen Systeme. Die Lücke umfasst alle ausgewählten geschlossenen Releases aus 2026.

Unter den 35 Open-Weight-Systemen bleibt die METR-Horizont-Abdeckung bei null. Die Kluft zwischen diesen beiden Gruppen definiert, wo das Messproblem lebt. Die Evidenz zeigt einen in zwei Hälften geteilten Bericht. Die beiden Hälften überschneiden sich selten.

Diese Asymmetrie zählt für alle, die Ranglisten lesen. Ein geschlossenes und ein offenes System zu vergleichen bedeutet oft, unterschiedlich gemessene Dimensionen zu vergleichen. Der Vergleich wirkt direkt. Tatsächlich stellt er nicht angeglichene Größen gegenüber. Wer auf Basis einer Rangliste entscheidet, erbt diese Verzerrung, ohne sie zu sehen.

Die Benchmark-Abfolge erzeugt einen Bruch

Das Paper dokumentiert einen zweiten Bruch in der Benchmark-Abfolge. Eine Verbindung über sieben Systeme von METR Time Horizon 1.0 auf 1.1 zeigt eine Steigung auf logarithmischer Skala von 1,206. Das 95-Prozent-Konfidenzintervall reicht von 1,021 bis 1,390.

Ein Vergleich über sechs Systeme zwischen MMLU und MMLU-Pro erscheint hingegen als Verschiebung unter Logit- und Probit-Links. Derselbe Vergleich verliert diesen Charakter unter linearem und logarithmischem Link.

Die Form der Verbindung hängt von der angewandten statistischen Transformation ab. Diese Abhängigkeit untergräbt die Vorstellung, ein Benchmark-Score übersetze sich sauber über aufeinanderfolgende Versionen. In der Praxis entscheidet die Wahl der Transformation, was beobachtet wird. Wer den Link wechselt, wechselt die Schlussfolgerung. Das Rohdatum allein reicht nicht aus, um einen Trend festzulegen.

Die statistische Power begrenzt, was der Audit erfasst

Die beobachteten Brücken erreichen etwa 80 Prozent Power für Steigungsabweichungen nahe 25 Prozent. Kleinere Variationen bleiben außerhalb der detektierbaren Reichweite der Studie.

Dieses methodische Detail zählt für alle, die Modell-Ranglisten lesen. Ein Benchmark, der stabil erscheint, könnte eine Drift unterhalb der Detektionsschwelle der Stichprobe verbergen. Das Fehlen eines Signals spiegelt in diesem Kontext die Power des Audits wider, bevor es die Realität des Phänomens widerspiegelt. Mit anderen Worten: eine Veränderung nicht zu sehen beweist nicht, dass es sie nicht gibt. Es beweist nur, dass die Stichprobe zu klein ist, um sie zu erfassen. Es ist eine deklarierte Grenze, kein verborgenes Ergebnis.

Die Datenprovenienz ist konzentriert

Die Provenienz der quantitativen Ereignisse ist ausgeprägt konzentriert. 52 der 71 substanziellen quantitativen Ereignisse, also 73,2 Prozent, stammen aus einem einzigen Messprogramm.

76,1 Prozent der Ereignisse entsprechen Labor-Releases. Diese Konzentration erzeugt eine Quellenabhängigkeit, die jede datierte Prognose implizit erbt.

Für ein Investment Committee ist die Lektion direkt. Die Technologie-These stützt sich auf einen Datenfluss, der von einem einzigen Akteur dominiert wird. Die scheinbare Vielfalt der Benchmarks verdeckt eine gemeinsame Wurzel. Ändert dieses Programm die Methode, verschiebt sich der gesamte Bericht mit ihm. Die Robustheit der Daten hängt von der Robustheit einer einzigen Quelle ab.

Sechzehn Messrichtungen, null Ersatzskalar

Costa hat 56 methodische und empirische Quellen geprüft. Daraus ergeben sich 16 komplementäre Messrichtungen.

Die Richtungen decken Ressourcen, Inferenzbudget, Zuverlässigkeit, agentische Arbeit, Sicherheit, menschliche Präferenz, Feldergebnisse und Prognose-Backtesting ab. Ein einzelner Ersatzskalar über diese Richtungen hinweg fehlt. Keine einzelne Zahl fasst alle anderen zusammen.

Die Konsequenz ist, dass Produktivzuverlässigkeit und Benchmark-Score getrennte Dimensionen bleiben. Sie bleiben weitgehend noch zu messen. Die prädiktive Validität eines Scores gegenüber der realen Leistung ist eine separate Dimension. Wer einen einzigen Readiness-Indikator sucht, wird ihn im aktuellen Bericht nicht finden.

Zuverlässigkeit als vernachlässigte Dimension

Unter den 16 Richtungen erscheinen Zuverlässigkeit und agentische Arbeit als getrennte Kategorien. Diese Unterscheidung zählt mehr, als die Benchmark-Literatur anerkennt.

Meine Position zum Error Compounding bei mehrstufigen Agenten bleibt dokumentiert. Fehler vervielfachen sich über aufeinanderfolgende Schritte. Ein Agent mit 90 Prozent Genauigkeit über fünf Schritte erreicht rund 59 Prozent Genauigkeit bei der zusammengesetzten Aufgabe. Der Rückgang ist nicht graduell. Er wächst mit jedem hinzugefügten Schritt.

Ein Einzelaufgaben-Score ignoriert diese Dynamik. Der METR-Task-Horizont, für nur sieben Systeme in Costas Bericht vorhanden, versucht, sie zu erfassen. Die Abdeckung bleibt zu dünn, um zu verallgemeinern.

Die Messlücke bei Investitionsentscheidungen

Meine Position, gestützt auf die aggregierte Evidenz zu Enterprise-Deployments, bleibt diese. Hohe Ausfallraten von Pilotprojekten spiegeln ein Messproblem wider, bevor sie ein Technologieproblem sind. Organisationen bewerten Pilotprojekte mit Pilot-Metriken: Geschwindigkeit, Output, Zufriedenheit im kontrollierten Kontext.

Ein Pilotprojekt läuft in einer kontrollierten Umgebung. In dieser Umgebung sind die Governance-Anforderungen reduziert oder ausgesetzt. Wenn das Volumen steigt und die Umgebung verrauscht wird, hören Pilot-Metriken auf, das reale Verhalten vorherzusagen. Costas Paper bestärkt diese Lesart aus einem anderen Blickwinkel: der öffentliche Bericht ist zu lückenhaft, um starke Behauptungen über Produktivreife zu tragen.

Was sich für Kapitalallokatoren ändert

Benchmarks gehören für Deployment-Entscheidungen in die falsche epistemische Kategorie. Ein Benchmark misst Leistung unter standardisierten Bedingungen. Ein Produktivsystem läuft unter variablen, verrauschten Bedingungen.

Für den CRO und den Chief Analytics Officer zeigt dies, wo die Dateninfrastruktur Strenge verlangt. Die prädiktive Validität eines Scores gegenüber der Produktivleistung ist eine separate Dimension, die weitgehend noch zu quantifizieren ist.

Für das Board ist die evidenzgestützte These bescheiden. Eine belastbare datierte Prognose ist eine Aussage über ein versioniertes Messsystem, mit expliziten Joins, Protokollen, Links und Quellenabhängigkeit. Eine angepasste Kurve oder ein Kalenderdatum bleibt unzureichend. Ähnliche Einblicke finden sich im Blog von Agora Intelligence.