LLM Benchmark Evaluation: Der Richter hängt vom Modell ab

Am 25. September 2026 erscheint auf arXiv eine Arbeit, die unmittelbar die LLM Benchmark Evaluation betrifft: Drei Autoren, Zeyan Li, Jing Peng und Jianfeng Xu, messen, wie sehr die Art ins Gewicht fällt, in der ein sprachbasierter Richter seine Evidenz sammelt.

Ihre Prämisse ist eine Messung, keine These. Ein paarweiser Richter kann zwei Antworten direkt vergleichen, er kann Schritt für Schritt argumentieren, er kann jede Antwort gegen eine Referenz prüfen. Die Rangfolge dieser drei Verfahren verschiebt sich, sobald Benchmark und Judge-Modell wechseln.

Vier Benchmarks, zwei Backbones, acht Konstellationen

Das öffentliche Abstract benennt den experimentellen Rahmen präzise: vier Benchmarks und zwei Backbones mit 8 Milliarden Parametern, insgesamt also acht Benchmark-Backbone-Konstellationen. In allen acht erzielt die vorgeschlagene Methode (Backbone-Adaptive Evidence Routing, BAER) die höchste Testgenauigkeit unter den verglichenen Methoden, bei vollständiger Abdeckung der Vorhersagen und Zugewinnen zwischen 0,87 und 7,32 Punkten gegenüber der besten externen Baseline, wie das am 25. September 2026 eingereichte Paper^[1] berichtet.

Acht von acht ist ein sauberes Ergebnis. Die Spannweite der Zugewinne verdient mehr Aufmerksamkeit als die Zahl der Siege.

Zwischen 0,87 Punkten und 7,32 Punkten liegt ein Faktor von mehr als acht. Dieselbe Methode erzeugt unter unterschiedlichen Bedingungen Abstände, die vom statistischen Rauschen bis zum substanziellen Sprung reichen. Diese Streuung ist der Befund, der die Fragilität automatisierter Bewertung beschreibt.

Die Abhängigkeit vom Backbone ist der Befund, die Genauigkeit ist der Rahmen

Der Titel des Papers stellt den Schlüsselbegriff an die erste Stelle: backbone-adaptive. Die Anpassung betrifft das Judge-Modell, nicht nur den Benchmark.

Die Autoren formulieren das Problem so: Ein einheitliches Protokoll, das über alle Benchmarks und alle Backbones hinweg gilt, bleibt unauffindbar. Die über acht Konstellationen gesammelte Evidenz stützt diese Formulierung.

Die Konsequenzen für alle, die Bewertungsergebnisse lesen, sind unmittelbar. Eine von einem sprachbasierten Richter erzeugte Zahl trägt den Abdruck des Protokolls, mit dem die Evidenz gesammelt wurde, und dieser Abdruck verändert sich mit dem Modell, das als Richter fungiert. Zwei Labore, die dasselbe System mit unterschiedlichen Backbones bewerten, können die Kandidaten unterschiedlich ordnen, obwohl beide Vorgehensweisen vertretbar sind.

Der Score beschreibt in dieser Lesart ein Paar: das bewertete System und den Apparat, der es bewertet.

Die Symmetrie der Kandidaten als Konstruktionsvorgabe

BAER passt den Evidenzmechanismus an und wahrt dabei die Symmetrie zwischen den Kandidaten. Die erklärte Eigenschaft lautet: Werden die beiden Antworten getauscht, kann sich die Präferenz umkehren, ihre Stärke bleibt identisch.

Diese Vorgabe adressiert einen dokumentierten Mangel paarweiser Richter, die Empfindlichkeit gegenüber der Reihenfolge der Präsentation. Ein Richter, der die zuerst gezeigte Antwort bevorzugt, misst die Position, nicht nur den Inhalt.

Die Konstruktionsentscheidung verdient eine methodische Anmerkung. Statt den Reihenfolgeeffekt im Nachhinein zu korrigieren, etwa durch Mittelung über beide Präsentationen, schließen die Autoren ihn konstruktionsbedingt aus. Die Struktur des Modells garantiert die Eigenschaft, und damit verlagert sich die Garantie vom experimentellen Protokoll in die Architektur.

Offen bleibt eine Frage, die das Abstract auslässt: Was kostet die Symmetrievorgabe an Genauigkeit. Die Autoren berichten den Zugewinn gegenüber der Baseline, und das deckt die Frage nur indirekt ab.

Drei Heads, eine vor dem Test eingefrorene Wahl

Die Architektur trennt für jeden Experten zwei Größen: die vorzeichenbehaftete Präferenz (welche Antwort gewinnt, mit welcher Intensität) und die Zuverlässigkeit, gemessen invariant gegenüber den Kandidaten. Auf dieser Trennung ruhen drei symmetrische Heads.

• Evidence Stacking: Die Evidenz der verschiedenen Experten summiert sich zu einem einzigen Urteil.
• Routing nach Zuverlässigkeit: Die Entscheidung geht an den Experten, der unter dieser Bedingung am zuverlässigsten ist.
• Referenzprüfung blind gegenüber den Kandidaten: Die Kontrolle erfolgt gegen eine Referenz und ignoriert die Identität der Antworten.

Die Entwicklungsdaten wählen für jede Benchmark-Backbone-Konstellation einen Head aus, und diese Wahl wird vor dem Test eingefroren. Das Detail wiegt schwerer, als es scheint: Eine auf dem Testset getroffene Auswahl würde das Ergebnis auf eine Übung in nachträglicher Anpassung reduzieren.

Das von den Autoren erklärte Protokoll schließt diese Lesart aus. Die Auswahl erfolgt auf Entwicklungsdaten, das Einfrieren geht der Messung voraus, und die acht Siege bleiben Siege auf Daten, die nie zur Auswahl herangezogen wurden. Das macht den Wert von 0,87 Punkten zu einer nützlichen Information: Er steht für den minimalen Abstand, der unter redlichen Bedingungen beobachtet wurde.

Die Grenzen des Rahmens, erklärt und implizit

Eine Extrapolation über den erklärten Rahmen hinaus verlangt Vorsicht. Zwei Backbones mit 8 Milliarden Parametern sind zwei Punkte, und diese Größenordnung bleibt weit entfernt von den Modellen, die in industriellen Panels als Richter eingesetzt werden.

Eine zweite Grenze betrifft die Quelle. Diese Analyse stützt sich auf das öffentliche, auf arXiv eingereichte Abstract, einsehbar auch über alphaXiv^[2]; die vollständige Ergebnistabelle je Konstellation bleibt im PDF, und die Spanne zwischen 0,87 und 7,32 Punkten fasst acht Zahlen zusammen, die eine getrennte Lektüre verdienen.

Ein drittes Element fehlt im öffentlichen Bild: die Rechenkosten. Die drei Heads bedeuten unterschiedliche Aufrufe des Modells, und die Referenzprüfung setzt eine verfügbare Referenz voraus. Der Preis der Anpassung geht in die Kalkulation all jener ein, die in großem Volumen bewerten.

Die Autoren begrenzen ihre Schlussfolgerungen auf die Robustheit des Sammelmechanismus, und diese Analyse bleibt innerhalb dieser Grenze.

Der Richter als Instrument mit Bias, nicht als Schiedsrichter

Der Wert dieser Arbeit für Entscheider liegt in der Neuformulierung des Problems. Die übliche Frage (welcher Richter ist genauer) setzt eine stabile Antwort voraus. Die Evidenz aus acht Konstellationen stützt eine andere Frage: Welcher Evidenzmechanismus trägt bei genau diesem Benchmark-Backbone-Paar.

Dieses Ressort hat dieselbe Struktur mehrfach dokumentiert: Ein Panel aus Modellen teilt blinde Flecken, summiert also korrelierte Meinungen, statt unabhängig zu sampeln. Die Arbeit von Li, Peng und Xu fügt eine Ebene hinzu: Auch das Protokoll zur Sammlung der Evidenz ist eine freie Variable, und seine beste Ausprägung hängt vom Modell ab, das urteilt.

Ein Bewertungsergebnis wird damit zu einem Datum aus drei Faktoren: das gemessene System, der Richter, das Protokoll. Zwei dieser drei bleiben in den kursierenden Berichten fast immer implizit.

Was sich für die Budgetverantwortlichen der Evaluation ändert

Für ein Investmentkomitee fällt die Diagnose knapp aus: Die Ausgaben für automatisierte Bewertung kaufen eine bedingte Messung, kein Schiedsurteil.

Für einen Chief Analytics Officer liegt der Aufmerksamkeitspunkt bei der Infrastruktur. Für jede Konstellation einen eigenen Mechanismus zu wählen bedeutet: Entwicklungsdaten getrennt vom Test, Versionierung der Judge-Backbones und Nachverfolgung des Protokolls neben jedem archivierten Score.

Für ein Board ist die von den Daten gestützte Technologiethese enger als die kursierende. Die Evidenz betrifft die Robustheit paarweiser Bewertung auf vier Benchmarks mit Backbones von 8 Milliarden Parametern, mit Abständen zwischen 0,87 und 7,32 Punkten. Die Übertragung dieses Ergebnisses auf Richter-Panels im Produktivbetrieb bleibt eine offene Dimension, weitgehend ohne öffentliche Messung.

Die Lücke zwischen dem, was ein Benchmark misst, und dem, was ein Deployment verlangt, liegt genau in diesem Raum.