KI als Richter: LLM bewertet 3.040 klinische Zweitmeinungen

Dreizehn Forschende haben einen gemeinsamen Prüfstand für klinische Zweitmeinungen entwickelt, die von Sprachmodellen verfasst werden. Unter dem Namen AI Consilium ist er am 15. Oktober 2026 auf arXiv erschienen.

Im Zentrum stehen 3.040 Abschlussberichte aus acht Pipelines, von denen jede auf einem anderen Modell basiert^[1]. Ein weiteres Sprachmodell hat als Bewerter fungiert und sämtliche Berichte benotet. Laut den Autoren entscheidet das eingesetzte Modell stärker über die Berichtsqualität als das Antwortformat.

Dreihundert NEJM-Fälle und ein an Ärzten kalibrierter Bewerter

Ausgangsmaterial sind 300 Fälle aus NEJM-MedQA mit bereits gesicherter Diagnose.

Die Autoren haben die Fälle in zwei Blöcke aufgeteilt. Für 110 Fälle lieferten Ärztinnen und Ärzte Referenzbewertungen, mit denen der automatische Bewerter kalibriert wurde. Die übrigen 190 Fälle blieben von der Kalibrierung ausgeschlossen und bildeten den eigentlichen Test.

Jede Pipeline setzt für alle Rollen ein einziges Modell ein. Dieses verfasst für jede beteiligte Fachdisziplin eine Stellungnahme und anschließend einen abschließenden Konsiliarbericht. Beides entsteht in zwei Varianten: einmal als Freitext, einmal entlang einer strukturierten klinischen Argumentationsvorlage.

Die 3.040 Abschlussberichte ergeben sich aus 190 Fällen mal acht Pipelines mal zwei Formaten.

Struktur hilft beim klinischen Management

Der strukturierte Bericht erzielte in sieben von acht Pipelines den höheren Gesamtdurchschnitt.

Am deutlichsten fällt der Vorsprung im Abschnitt zum Patientenmanagement aus. Dort kommt das strukturierte Format auf 2,740 gegenüber 2,436.

Die öffentliche Zusammenfassung des Papers nennt die beiden Mittelwerte, nicht aber die Bewertungsskala und die Streuung.

Der zweite Vergleich betrifft das interdisziplinäre Konsil. Der strukturierte Abschlussbericht schlägt die strukturierte Stellungnahme der ersten Fachdisziplin in allen fünf gemeinsamen Kriterien. Die größten Zugewinne zeigen sich bei der Priorisierung, der Faktentreue und der Kohärenz der Argumentation.

Drei Designentscheidungen tragen jede Zahl

Sämtliche Evaluationsergebnisse hängen an drei vorab getroffenen Entscheidungen.

• Ein einziger Bewerter. Jeder Bericht erhält seine Note von demselben automatischen Bewerter.
• Eine Kalibrierung an 110 Fällen. Die Übereinstimmung zwischen Bewerter und Ärzten beruht auf dieser Stichprobe.
• Fälle aus einer Fachzeitschrift. Die NEJM-Fälle sind bereits gelöst und für die Lehre aufbereitet. Das Studiendesign beobachtet Modelle an publizierten Fällen, reale Patienten kommen darin nicht vor.

Das Spitzenmodell und der fehlende Name

GPT-5.6-Sol führt in jeder bewerteten Komponente und erreicht den Konsens zwischen den Rollen mit weniger Revisionsrunden.

Ein Spitzenplatz in allen Kategorien ist ein starkes Ergebnis. Es ist zugleich ein Ergebnis, das man prüfen muss, denn wer die Noten vergibt, ist selbst ein Sprachmodell.

Den Namen des Bewertungsmodells nennt die öffentliche Zusammenfassung nicht. Das vollständige Paper ist auf arXiv und auch auf alphaXiv^[2] abrufbar.

Die Note hängt davon ab, wer sie vergibt

Ich betrachte jeden automatischen Bewerter als Instrument mit systematischen Fehlern.

Die Autoren haben den richtigen Schritt getan und ihn an ärztlichen Urteilen kalibriert. Die Schwachstelle liegt im Verhältnis: 110 kalibrierte Fälle stehen 3.040 zu bewertenden Berichten gegenüber.

Für jeden Bericht gibt es genau eine automatische Note. Die Differenz von 0,304 Punkten beim klinischen Management ist also eine Differenz aus Sicht dieses Instruments. Welches Gewicht sie für eine Ärztin auf Station hat, ist eine andere Größe, und die lässt diese Studie offen.

Was für Geldgeber klinischer Forschung belastbar ist

Für ein Gremium, das über das F&E-Budget im Gesundheitswesen entscheidet, betrifft der belastbarste Befund die Modellwahl.

Die Struktur der Antwort bringt einen zusätzlichen Gewinn bei bestimmten Kriterien, allen voran beim klinischen Management. Die Synthese über mehrere Rollen bringt einen Gewinn in allen fünf gemeinsamen Kriterien.

Für Verantwortliche in der Datenanalyse zeigt der Benchmark, wie viel Gewicht die Bewertungsebene hat. Mit 110 kalibrierten Fällen und einem einzigen Bewerter hängt die Qualität der Messung fast vollständig von diesem Bewerter ab.

Für einen Vorstand gilt: Die These „Das Modell zählt mehr als das Format“ wird innerhalb dieses Designs gestützt. Die These „Ein LLM liefert verlässliche klinische Zweitmeinungen“ liegt außerhalb dessen, was das Paper misst.

Drei Angaben, nach denen man im PDF suchen sollte, bevor man das Ranking zitiert:

1. die gemessene Übereinstimmung zwischen Bewerter und Ärzten in den 110 Kalibrierungsfällen;
2. Name und Modellfamilie des Bewertungsmodells;
3. Skala und Streuung der Noten beim klinischen Management.

Solange diese drei Angaben fehlen, beschreibt das Ranking das Urteil eines Modells über andere Modelle.