LLM-Richter und Wahrheitsgehalt: Das Risiko des Scheinkonsenses

Das Paradox des Konsenses automatischer Richter

Zhou und Lin haben JuryProbe am 20. August 2026 auf arXiv eingereicht. Das Paper umfasst 22 Seiten, eine Abbildung und sechzehn Tabellen. Gegenstand: Panels kostengünstiger LLM-Richter, die über Akzeptanz oder Eskalation einer Aussage entscheiden.

Der Einstieg des Papers definiert den Nutzungskontext. Panels kostengünstiger Richter treffen Akzeptanzentscheidungen im großen Maßstab. Die Frage der Autoren betrifft die Belastbarkeit dieser Entscheidungen, wenn die Modelle koordiniert irren.

Die Befundlage offenbart ein Paradox. Verschiedene Richter stimmen bei einer Sachbehauptung überein, und diese Übereinstimmung erscheint als Zuverlässigkeitssignal. Die gemessene Realität erzählt eine andere Geschichte.

Übereinstimmung kann gemeinsame blinde Flecken widerspiegeln, niemals unabhängige Belege. Wenn Modelle gemeinsam irren, verstärkt der Konsens den Fehler, statt ihn zu korrigieren. Für denjenigen, der ein aggregiertes Ergebnis liest, bedeutet dies: Die Anzahl übereinstimmender Stimmen misst nicht die Belastbarkeit der Schlussfolgerung.

Was gemessen wurde: Korrelation der False Negatives

Die Autoren haben die Panels auf verifizierten Korrumpierungen des FEVER-Datensatzes getestet. Die zentrale Metrik: die Korrelation der False Negatives (FN-only) zwischen Richtern. Ein hoher Wert signalisiert, dass die Modelle bei denselben Fällen versagen.

Die Ergebnisse sind eindeutig. Die gemessenen FN-only-Korrelationen betragen 0,402 und 0,368. Der False-Consensus-Lift erreicht 3,13x und 18,13x, gemäß den im Paper berichteten Daten^[1].

Der Lift quantifiziert, wie stark der falsche Konsens das erwartete Niveau aus unkorrelierten Fehlern übersteigt. Ein Wert von 3,13x signalisiert bereits substanzielle Abhängigkeit. Der Wert von 18,13x beschreibt ein Regime, in dem die Übereinstimmung nahezu jeden Informationswert verliert.

Der Wert von 18,13x zeigt, dass falscher Konsens weit häufiger auftritt, als bei unabhängigen Fehlern zu erwarten wäre. Übereinstimmung wird in diesem Regime zu einem Risikomultiplikator. Die Spanne zwischen den beiden Werten, 3,13x und 18,13x, zeigt zudem, dass die Abhängigkeit nicht konstant ist: Sie variiert mit dem Typ der untersuchten Daten.

Der Mechanismus: gemeinsame blinde Flecken

Die strukturelle Ursache liegt in der reference-free Architektur. Ein Richter ohne Referenz bewertet den Wahrheitsgehalt auf Basis des internen Modellwissens. Modelle, die auf ähnlichen Verteilungen trainiert wurden, erben dieselben Wissenslücken.

Das Ergebnis: Wenn eine falsche Aussage plausiblen Mustern ähnelt, akzeptieren alle Richter sie. Der Fehler wird systematisch, korreliert und für die Mehrheitsaggregation unsichtbar. Die Mehrheit filtert den Fehler nicht, weil jede Stimme aus derselben Wissenslücke stammt.

Diese Dynamik erinnert an das Error Compounding, das bei Multi-Step-Agenten dokumentiert ist. Ein Agent mit 90 % Genauigkeit über fünf aufeinanderfolgende Schritte fällt bei der zusammengesetzten Aufgabe auf 59 %. Dieselbe Logik regiert die Panels: Korrelierte Richter versagen gemeinsam, und die Mehrheit erbt die Lücke, statt sie zu schließen.

Die Stichprobe und das Protokoll

Das Protokoll basiert auf geprüften Korrumpierungen von FEVER. Diese Wahl ermöglicht bekannte Wahrheitsetiketten für jede Aussage. Die Kalibrierungssonde nutzt diese Etiketten zur Schätzung der Fehlerabhängigkeit.

Die Teststruktur umfasst drei Datenfamilien: synthetische Splits, von Benchmarks autorisierte Splits und wissenschaftliche Splits. Die Negativkontrolle dient als Falsifikation: Die Regel bleibt stabil, wo kein Risiko besteht.

Diese experimentelle Disziplin ist wesentlich. Sechzehn Tabellen dokumentieren das Verhalten der Regel bei jeder Familie. Das Ergebnis hält bei mehreren Bedingungen stand, nie bei einem einzigen günstigen Szenario. Die Negativkontrolle prüft insbesondere, dass die Diagnostik kein Risiko signalisiert, wo keines vorhanden ist.

Die JuryProbe-Diagnostik und das Routing

JuryProbe schätzt das Konsensrisiko aus einer etikettierten Kalibrierungssonde. Es kombiniert die FN-only-Korrelation mit dem False-Consensus-Lift. Wenn das Risiko hoch ist, leitet das System die Akzeptanzfälle an dieselben Richter weiter, die mit vertrauenswürdigen Referenzen ausgestattet sind.

Die Routing-Logik ist bedingt. Die Diagnostik entscheidet, wann Grounding aktiviert wird. Die Verbesserung ergibt sich aus dem bedingten Grounding bei Akzeptanzfällen, nie aus der Diagnostik an sich. Die Sonde allein korrigiert nichts: Sie zeigt an, wo eine Referenz benötigt wird.

Unter der Trusted-Reference-Diagnostik sinkt im besten Fall der einstimmige falsche Konsens auf null. Dies gilt sowohl für Belege mit minimalem Paar als auch für erweiterte Belege.

Die geroutete Policy entspricht konstruktionsbedingt dem Grounding jeder reference-free Mehrheitsakzeptanz. Die Autoren überprüfen dies auf 34 von 34 Splits.

Was die Hochrisikofälle unterscheidet

Eine feste, vorab spezifizierte Regel signalisiert 8 bis 10 Splits von 10. Dies gilt für synthetische, Benchmark- und wissenschaftliche Familien. Bei der Negativkontrolle signalisiert dieselbe Regel 0 von 10.

Der praktische Wert zeigt sich im Trade-off. Stand-down vermeidet 28 % der Referenzabrufe. Der Preis: ein Anstieg von 0,004 bei den False Accepts.

Die Reduktion der False Accepts bleibt auch bei schwachem BM25-Retrieval bestehen, zu erheblichen Deckungskosten. Veraltete Stand-down-Etiketten erfordern periodische Neukalibrierung. Wer die Regel übernimmt, muss daher eine wiederkehrende Wartung einplanen, kein einmaliges Eingreifen.

Die von den Autoren erklärten Grenzen

Die Autoren bleiben präzise hinsichtlich der Grenzen der Arbeit. JuryProbe bietet eine empirische Diagnostik der Fehlerabhängigkeit zwischen Hochrisiko-Panel-Richtern.

Das Paper erklärt ausdrücklich das Fehlen einer formalen Risikogarantie. Die Autoren stellen fest, dass die Methode die Frage des zuverlässigen Stand-down bei natürlichen Panels offen lässt.

Diese Vorsicht hat Gewicht. Der gemessene Beitrag ist diagnostisch, nie präskriptiv. Die Frage der prädiktiven Validität im Produktionsbetrieb bleibt eine separate, weitgehend unerforschte Dimension. Das Ergebnis beschreibt geprüfte FEVER-Korrumpierungen, nicht die rauschenden Datenströme eines laufenden Systems.

Warum Benchmarks an diesem Punkt täuschen

Ein Benchmark misst Leistung unter standardisierten Bedingungen. Ein Produktionssystem operiert unter rauschenden Bedingungen. Benchmark-Punktzahlen zur Beurteilung der Produktionsreife zu verwenden, bleibt ein dokumentierter methodischer Fehler.

Initiativen wie Stanfords HELM^[2] haben die Evaluation von Sprachmodellen transparenter gemacht. Ihre prädiktive Validität für die Produktionsleistung bleibt eine eigenständige Dimension.

Der Anreiz, für Rankings optimierte Punktzahlen zu veröffentlichen, hat eine Literatur hervorgebracht, die misst, was am leichtesten zu messen ist. Die Fehlerabhängigkeit zwischen Richtern zählt zu den Dimensionen, die von diesem Strang ignoriert werden.

Der Fall JuryProbe illustriert dies präzise. Ein Panel kann hohe Übereinstimmung in einem Benchmark erzielen und dabei dieselben blinden Flecken teilen, wenn die Daten die Verteilung wechseln. Die Punktzahl bleibt hoch; die Belastbarkeit nicht.

Implikation für die Budgetallokation

Für den Investitionsausschuss ist die Schlussfolgerung direkt. Die Zuverlässigkeit eines Richter-Panels hängt von der Fehlerkorrelation ab, nie von der Anzahl der Richter. Ähnliche Modelle hinzuzufügen, erhöht die Kosten, nicht die Unabhängigkeit.

Für den Chief Analytics Officer ändert sich die benötigte Infrastruktur grundlegend. Erforderlich sind eine etikettierte Kalibrierungssonde und ein Zugang zu vertrauenswürdigen Referenzen für das bedingte Routing.

Für den Vorstand muss die These an einem Punkt revidiert werden. Der Konsens zwischen automatischen Modellen misst Trainingsähnlichkeit, nie Wahrheit. Die Lücke zwischen scheinbarer Übereinstimmung und gemessener Wahrheit ist der Ort, an dem das Deployment-Risiko lebt.