Model-Evaluierungs-Benchmark: AhaBench misst drei Kennzahlen

Drei Kennzahlen statt einer

Am 30. Juni 2026 reichten sechs Forscher auf arXiv einen Model Evaluation Benchmark^[1] ein, der drei unterschiedliche Kennzahlen statt einer misst.

Die Suite trägt den Namen AhaBench und stammt von einer Gruppe von sechs Autoren unter der Leitung von Zerui Cheng. Das Dokument umfasst 37 Seiten und wird zur Überprüfung bei TMLR eingereicht.

Die Ausgangsfrage ist operativ. Wenn ein bestimmtes Modell nützliche Erfahrung erhält, verbessert sich das nachfolgende Verhalten in einer damit verbundenen Bedingung, in der die offensichtliche Unterstützung entfernt, geändert oder verzögert wurde? Die Autoren antworten mit einer dreistufigen Scorecard.

• Initial Score: die anfängliche Kompetenz.
• Post-Experience Score: das nach der Erfahrung gemessene Ergebnis.
• Learning Lift: die Differenz zwischen den beiden.

Diese Zerlegung ist die zentrale empirische Aussage der Arbeit. Modelle, die sichtbare Unterstützung gut nutzen, solche, die hohe Endpunktzahl erreichen, und solche, die sich während einer Sitzung am meisten verbessern, bilden drei unterschiedliche Mengen.

Die Methodik: drei Komponenten, eine Logik

Die Suite enthält drei Komponenten. Alle drei folgen der gleichen Logik: zuerst die Erfahrung, dann ein damit verbundener Test, bei dem die offensichtliche Unterstützung fehlt.

• Aha-Puzzle: hinweisfreie Erkundung nach bereits gelösten Puzzles mit verborgenem Zustand.
• Aha-Euler: mathematische Ideen im Project-Euler-Stil, die in generierte, unterrichtete oder zurückbehaltene Aufgaben umgewandelt werden, mit exakten Validatoren.
• Aha-Vending: Open-Source-Implementierung inspiriert von Vending-Bench, bei der ein Agent einen simulierten Automaten zwischen verzögertem Feedback und betrieblichen Ausfällen verwaltet.

Die Wahl exakter Validatoren bei Aha-Euler zählt mehr als sie zunächst erscheint. Ein Validator überprüft das Ergebnis mechanisch und entfernt den Sprachrichter aus der Gleichung. Die anderen Komponenten verwenden Bewertungsrichtlinien und bringen daher die typische Verzerrung automatisierter Bewertung mit sich.

Das Team hat Aufgaben, Bewertungsrichtlinien, Validatoren, Simulator-Code und Schnittstellen zur Bewertung neuer Agenten veröffentlicht. Ein Dritter kann daher die Messung reproduzieren, eine in der Benchmark-Literatur seltene Bedingung.

Die meisten aktuellen Bewertungen weisen einem einzelnen Endpunkt einer einzelnen Trajektorie einen Score zu und setzen den Agenten dann zurück. Hier beobachtet das Design zwei Momente innerhalb derselben langen Sitzung.

Die Kluft zwischen Unterricht und Transfer

Das härteste Ergebnis des Papers kommt von Aha-Euler.

Bei vollständigem Unterricht liegen die Scores zwischen 78,6% und 100,0%. Bei Transfer basierend auf der endgültigen Antwort stürzt die Spanne ein: von 0,0% bis 73,9%.

Die Kluft zwischen 100,0% und 0,0% ist der Ort, an dem die Lernfähigkeit lebt. Eine angezeigte Antwort liefert das Ergebnis, vollständiger Unterricht liefert das Verfahren. Modelle, die das Verfahren erhalten, verallgemeinern auf die zurückbehaltene Aufgabe, solche, die die endgültige Zahl erhalten, bleiben manchmal bei Null.

Das gleiche Schema erscheint bei Aha-Puzzle. Puzzle-Hinweise verbessern die Scores unter unterstützten Bedingungen, verfehlen aber oft den Übergang zu autonomem Erkundungsverhalten.

Sichtbare Unterstützung übertreibt die Kompetenzmessung und verbirgt das Lerndefizit. Ein mit Hilfe erreichter hoher Score wird somit zu einem schwachen Indikator für operative Leistung.

Das Panel von acht Modellen

Das gemeinsame Panel umfasst acht Modelle. Claude Opus 4.6 führt den aggregierten Post-Experience Score mit 64,3 und den aggregierten Learning Lift mit +25,8 an.

Gemini 3.1 Pro folgt knapp mit 63,4 beim ersten Indikator. Der Abstand zwischen 64,3 und 63,4 beträgt 0,9 Punkte auf einer aggregierten Skala und hat daher wenig Gewicht für Entscheidungen.

Die interessante Anomalie liegt anderswo. Die Rangliste der endgültigen Ergebnisse anzuführen und die Rangliste der Verbesserung anzuführen sind zwei separate Eigenschaften, und das Paper misst sie getrennt, genau deshalb. Wer eine einzelne aggregierte Zahl liest, verliert die Information, die er braucht.

Der aggregierte Wert stammt aus drei sehr unterschiedlichen Komponenten. Ein Durchschnitt über Puzzles, Mathematik und Automaten-Management komprimiert Dimensionen, die auf unterschiedliche Fähigkeiten ansprechen.

Die Autoren erklären die Struktur und veröffentlichen Ergebnisse pro Komponente, daher bleibt die Zerlegung für diejenigen zugänglich, die das gesamte Dokument lesen.

Aha-Vending: Das Feedback, das zu spät kommt

Aha-Vending trennt drei Ergebnisse: rentable Verwaltung von Ausfällen, Bankrott, Fehler durch niemals ausgegebene Bestellungen.

Bankrott und fehlende Bestellungen beschreiben zwei unterschiedliche Arten zu scheitern. Das erste gibt schlecht aus, das zweite bleibt stillgestellt. Beide erzeugen Null Gewinn, daher verwirrt eine einzelne Ergebnis-Metrik sie.

Der lange Horizont ist der Motor des Problems. Fehler eines Multi-Schritt-Agenten summieren sich: eine 90%-ige Erfolgsquote pro Schritt, fünfmal wiederholt, sinkt bei der gesamten Aufgabe auf 59%.

Das Gegenargument ist legitim, denn ein Simulator bleibt ein Simulator. Das Design führt jedoch verzögertes Feedback und Ausfälle ein, zwei Merkmale, die Single-Turn-Tests völlig ignorieren.

Das nützliche Datum hier ist qualitativer Natur und die Autoren präsentieren es als solches. Die Trennung der Ergebnisse ist aussagekräftiger als ein Durchschnitt, da sie anzeigt, welche Art zu scheitern der Betreiber erwartet.

Warum Rankings das Falsche messen

Ein Benchmark misst standardisierte Bedingungen. Produktion ist das Gegenteil von Standardisierung, daher bleibt die Vorhersagekraft einer Score eine separate Dimension, die größtenteils noch gemessen werden muss.

Der Anreiz, für Rankings optimierte Scores zu veröffentlichen, hat eine Literatur hervorgebracht, die misst, was leicht zu messen ist. Diese Suite bewegt sich in die entgegengesetzte Richtung: Sie wählt eine schwer zu messende Variable, den Gewinn zwischen zwei Zeitpunkten, und macht sie sichtbar. Der Preis dieser Wahl ist die Fragilität der Zahl, die davon abhängt, wie die Erfahrung vermittelt wird.

Das Dokument wird als Version 1 eingereicht und wird bei TMLR überprüft, daher fehlt noch das Peer Review. Wer diese Zahlen für eine Entscheidung nutzt, muss den redaktionellen Status berücksichtigen.

Die Autoren begrenzen die Schlussfolgerungen auf ihre Aufgaben, und der Leser tut gut daran, das gleiche zu tun. Die Erweiterung des Ergebnisses auf eine andere Anwendungsdomäne bleibt eine Operationen ohne empirische Unterstützung.

Was sich für Kapitalallokation ändert

Die Zerlegung in drei Scores ändert die Frage, die ein Investitionskomitee an einen Anbieter stellt.

Für CRO, CDO und Investitionskomitee geht es um die Allokation des F&E-Budgets. Ein mit sichtbarer Unterstützung erreichter Score beschreibt eine Laborbedingung. Die für einen Einsatz relevante Position ist das Ergebnis nach Entfernung der Unterstützung.

Für den Chief Analytics Officer betrifft die Folge die Dateninfrastruktur. Die Messung eines internen Learning Lift erfordert zwei Fähigkeiten, die in vielen aktuellen Pipelines fehlen: die Erfahrung des Agenten nachzuverfolgen und den Test unter einer geänderten Bedingung zu wiederholen.

Für den Board ist die Frage, welche technologische These trägt. Die Evidenz zeigt, dass anfängliche Kompetenz, Endergebnis und Verbesserungsfähigkeit sich auf den acht Modellen des Panels unabhängig bewegen. Eine These, die auf einem einzelnen Ranking aufgebaut ist, ruht daher auf einer schmalen Grundlage.

Dies ist eine Diagnose der Messlücke, und die operative Wahl bleibt bei denen, die das Budget unterzeichnen.