Mehrschrittiges Schlussfolgern: medizinische Konsistenz fällt von 98,88 % auf 45,13 %

Die Kluft zwischen 98,88% und 45,13%

Ein am 10. September 2026 veröffentlichter Modell-Evaluierungs-Benchmark stellt zwei Zahlen nebeneinander. Bei atomaren Aufgaben erreicht das beste Modell 98,88% logische Kohärenz. Bei der vollständigen Kette fällt dasselbe Modell auf 45,13%.

Die Messung stammt aus LogiMed-RoB^[1], aufgebaut auf 860 randomisierten klinischen Studien und 14.820 Anfragen, getestet an zehn führenden Modellen und angenommen zur EMNLP 2026-Konferenz.

Die Kluft zwischen diesen beiden Zahlen ist der Ort, wo das Deployment-Risiko lebt. Die erste Zahl landet in den Folien der Anbieter. Die zweite beschreibt, was passiert, wenn die Aufgabe bis zum Ende reicht.

Mehrere Open-Weight-Architekturen fallen bei der End-to-End-Kohärenz auf nahezu null ab, obwohl sie bei einzelnen Schritten hohe Scores halten. Das Phänomen erscheint bei allen zehn getesteten Systemen, mit unterschiedlicher Intensität.

Das ist die Art von Ergebnis, die die Frage ändert, die man einem Anbieter stellt.

Wie das Messinstrument konstruiert ist

Der Benchmark nimmt die Expertenlogik des Cochrane Risk of Bias 2.0-Tools, den Standard, mit dem menschliche Prüfer die Qualität einer klinischen Studie beurteilen. Die Bewertung schreitet stufenweise voran: Berichtsfragen, Domain-Urteil, Gesamturteil.

Das Messung-Framework heißt Hierarchical Logical Consistency und beobachtet vier verschiedene Dimensionen:

• Atomic Consistency: die Kohärenz des einzelnen elementaren Urteils
• Domain Consistency: die Kohärenz innerhalb jeder Bias-Domain
• Aggregation Consistency: die Kohärenz beim Übergang von Domains zum Endergebnis
• Evidential Faithfulness: die Übereinstimmung der Schlussfolgerung mit der zitierten Evidenz

Diese Architektur ermöglicht etwas Seltenes: genau zu trennen, wo das Denken zusammenbricht, vom Endscore. Ein oberflächlicher Matching-Test vergleicht das produzierte Label mit dem erwarteten Label und schließt damit ab. Hier trägt jede Ebene der Hierarchie eine eigene Nummer.

Die Stichprobe umfasst 860 Studien und 14.820 Anfragen, ein großes Volumen für eine klinische Aufgabe dieser Spezifität. Die Arbeit wurde am 10. September 2026 auf arXiv eingereicht. Das Design antwortet auf eine alte Kritik an dieser Messenklasse: Eine einzelne Punktzahl sagt wenig über den Weg aus.

Die Anomalie: Der Zusammenbruch übersteigt die Arithmetik

Hier erscheint das Detail, das Aufmerksamkeit verdient. Mit einer Erfolgsrate von 98,88% pro Schritt und unabhängigen Fehlern würde eine Kette von fünf Urteilen etwa 94,5% erreichen. Der beobachtete Wert ist 45,13%.

Die Arithmetik der veröffentlichten Werte sagt etwas anderes: Um bei unabhängigen Fehlern auf 45,13% zu fallen, würde man etwa siebzig aufeinanderfolgende Schritte brauchen. Das Cochrane-Verfahren sieht viel weniger vor.

Die Deutung, die die Evidenz unterstützt, ist direkt: Die Fehler sind korreliert. Das Modell macht systematische Fehler an Stellen, wo die Expertenlogik einen Schluss erfordert, und diese Fehler konzentrieren sich, anstatt sich zu verteilen.

Error Compounding in Multi-Step-Agenten bleibt das am schlechtesten bewertete Risiko von Investitionsausschüssen. Diese Arbeit bietet eine saubere Messung davon in einer Domain, wo die logische Kette geschrieben, öffentlich und Schritt für Schritt überprüfbar ist.

Eine Erhöhung der Aufgabenlänge kostet viel mehr als die Punktzahl pro Schritt nahelegt.

Evidenz abrufen und daraus Schlussfolgerungen ziehen

Das zweite Ergebnis betrifft den Übergang von Evidenz zur Schlussfolgerung. Selbst wenn sie hochwertige Evidenz abrufen, leiten Modelle das Ergebnis in 18,63-40,05% der Fälle falsch ab.

Die Rate der Antworten, die als blinder Versuch produziert werden, nach der Definition der Autoren, erreicht 48,28%.

Dies trennt zwei Probleme, die der Markt als eins behandelt: den Informationsabruf und das Denken über diese Information. Der erste verbessert sich mit Dateninfrastruktur, Indizierung und Retrieval. Der zweite bleibt wo er war.

Für einen Chief Analytics Officer hat die Unterscheidung genaue Kosten. Die Investition in RAG wirkt sich auf die linke Hälfte des Problems aus und lässt die rechte Hälfte unverändert, während das Budget als Abhilfe für beide genehmigt wird.

Die Kluft zwischen abgerufener Evidenz und abgeleiteter Schlussfolgerung bleibt über die gesamte Skala der getesteten Modelle bestehen, mit einem Minimum von 18,63%. Selbst der beste Fall hinterlässt fast eine von fünf Aufgaben mit einer falschen Schlussfolgerung basierend auf korrekter Evidenz.

Warum eine aggregierte Punktzahl den Fehler verbirgt

Ein hoher Score bei der Endergenauigkeit kann mit gebrochenem Denken koexistieren. Das Modell kommt zum richtigen Label, indem es einen falschen Weg geht, und der Test registriert einen Erfolg.

Die Autoren schließen, dass die White-Box-Logikverifizierung vor jeder klinischen Anwendung notwendig wird.

Das Problem hat ein anderswo dokumentiertes Parallele. Eine Analyse veröffentlicht auf dem Alignment Forum^[2] beschreibt, wie viel ein Modell ohne Gedankenkette vollbringen kann. Der sichtbare Text erzählt daher wenig vom internen Prozess.

Die beiden Erkenntnisse konvergieren zu einer einzigen Diagnose: Das Lesen der endgültigen Ausgabe misst die endgültige Ausgabe. Ein Modell-Evaluierungs-Benchmark, der auf Labels aufgebaut ist, bleibt blind für den Weg, der sie erzeugt.

Der Unterschied zählt besonders in Domains, wo der Weg die Substanz der Arbeit ist: evidenzgestützte Medizin, Buchprüfung, Compliance. In diesen Fällen ist ein zufällig erreichtes korrektes Ergebnis wenig wert. Der Wert liegt in der Kette, die es rechtfertigt.

Was sich für Budget-Allokation ändert

Für einen Investitionsausschuss ist die relevante Zahl 45,13%, nie 98,88%. Der erste Wert beschreibt die bis zum Ende durchgeführte Aufgabe; der zweite beschreibt einen isolierten Schritt innerhalb dieser Aufgabe.

Die technische These, die von diesen Daten unterstützt wird, betrifft die Verifizierung, nie die reine Kraft des Modells. Der Zusammenbruch erscheint auf zehn führenden Systemen zusammen, daher liegt der Faktor, der ihn erklärt, in der Struktur der Aufgabe.

Drei Lesarten für drei verschiedene Tische:

• CRO und Investment Committee: die Validierungsausgabe sollte auf die gesamte Kette dimensioniert werden, nie auf einen einzelnen Schritt
• Chief Analytics Officer: es ist eine Infrastruktur erforderlich, die jedes Zwischenurteil aufzeichnet und vergleicht
• Board: die These, dass das fähigere Modell das Problem löst, bleibt in diesen Daten ohne Grundlage

Eine Validierungsausgabe, die auf Genauigkeit pro Schritt dimensioniert ist, unterschätzt die tatsächliche Verifizierungsarbeit. Das nützliche Maß kommt aus der vollständigen Kette, getestet auf dem Volumen und der Vielfalt von Fällen, die die Produktion bringt. Dies verschiebt Ressourcen vom Training zur Test-Infrastruktur.

Die Verifikationskosten steigen mit der Kettenlänge, und sie steigen schneller als der erwartete Score. Dies bleibt eine Diagnose. Die Allocations-Entscheidung gehört zum Tisch, der sie trifft, mit der richtigen Zahl davor.

Die vom Werk erklärten Grenzen

Das Werk deckt eine Domain ab: die Bewertung des Bias-Risikos in randomisierten klinischen Studien. Die Erweiterung auf andere Multi-Step-Aufgaben bleibt eine offene Frage, und die Autoren lassen sie offen.

Zehn Modelle sind eine kleine Stichprobe im Vergleich zum Markt, und die Systeme ändern ihre Version im Laufe von Wochen. Das Datendatum zählt: 10. September 2026.

Der Benchmark misst hierarchische logische Kohärenz, nie klinische Nützlichkeit. Ein System mit 45,13% End-to-End-Kohärenz kann als Unterstützung unter menschlicher Überprüfung nützlich bleiben, und diese Daten schweigen zu diesem Punkt. Eine Replikation auf einer anderen Domain würde zeigen, wie gut das Ergebnis generalisiert.

Das, was die Evidenz zeigt, ist begrenzt und solide: atomare Genauigkeit und End-to-End-Kohärenz sind zwei verschiedene Größen. Der Abstand zwischen ihnen wächst mit der Kettenlänge, und die Zahl, die für das Deployment zählt, ist immer die zweite.