Ein 26-wöchiger Supply-Chain-Benchmark, veröffentlicht auf arXiv am 15. Juli 2026, lokalisiert einen präzisen Versagenspunkt in führenden LLM-Agenten: Vier Produktionsmodelle erkennen 84–88 % der versteckten Störungen innerhalb einer Woche — zwei der vier erzeugen dabei höhere Kosten als eine symptomblinde Regel, die alle diagnostischen Informationen vollständig außer Acht lässt.
Was die Forscher gebaut und gemessen haben
Sagar Deb und Ashwanth Krishnan konzipierten STOCKTAKE als partiell beobachtbaren Markov-Entscheidungsprozess: eine 26-wöchige Bestandsauffüllungsaufgabe mit sechs versteckten Faktorprozessen — Lieferanten-Vorlaufzeitschocks, Nachfragespitzen, Stauungsereignisse — verteilt auf 50 Seeds mit drei Stressprofilen (isoliert, persistent, zusammengesetzt). Vier Produktionsmodelle wurden getestet: Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro und Grok 4.5.
Das methodische Kernstück ist das faire Orakel: ein Bayes-Filter, der exakt denselben Beobachtungsstrom wie jeder Agent erhält, exakte Posterior-Verteilungen pro verstecktem Faktor pflegt und rund 200 mögliche Zukünfte pro Entscheidung abtastet. Der Referenzkostenwert pro Seed ergibt sich aus dem Mittelwert von 20 Replikationen. Dieses Orakel legt die Obergrenze des Skill-Scores fest — (Basiskosten − Agentenkosten) ÷ (Basiskosten − Orakelkosten) — wobei 0 der symptomblinden Baseline und 1 der Orakel-Performance entspricht. Negative Werte bedeuten: Der Agent schnitt schlechter ab als eine Regel, die alle Symptome als Rauschen behandelt.
Die Erkennungsleistung konvergierte eng. Alle vier Modelle identifizierten 84–88 % der versteckten Stressepisoden innerhalb von etwa einer Woche nach dem Einsetzen. Das kontraintuitivste Ergebnis: Die zwei leistungsschwächsten Modelle im Gesamtkostenvergleich sind zugleich die schnellsten Wahrnehmer — mit Erkennungsverzögerungen von 0,32 Wochen gegenüber 0,40–0,42 Wochen der besseren Performer. Wahrnehmungsgeschwindigkeit und Steuerungskompetenz erwiesen sich als vollständig dekorreliert.
Die Steuerungsleistung divergierte stark. Skill-Scores reichten von 0,62 (GPT-5.4) bis −0,23 (DeepSeek-V4-Pro), mit Claude Sonnet 5 bei 0,49 und Grok 4.5 bei −0,13. Die profilbezogene Aufschlüsselung zeigt modellspezifische Verhaltenssignaturen: GPT-5.4 erzielte 0,21 auf isolierten Stress-Seeds und 0,86 auf zusammengesetzten Szenarien, was darauf hindeutet, dass seine Entscheidungsregel mit der Störungskomplexität skaliert. Claude Sonnet 5 zeigte das entgegengesetzte Muster — 0,54 auf isoliert, 0,70 auf persistent, 0,33 auf zusammengesetzt —, was darauf hindeutet, dass Multi-Faktor-Druck seine Bestelldisziplin beeinträchtigt. Grok 4.5 fiel bei 28 von 49 auswertbaren Seeds unter den symptomblinden Basiswert; DeepSeek-V4-Pro bei 22 von 49.
Zwei gegensätzliche Versagensmuster auf der Aktionsebene
Die Forscher identifizierten zwei distinkte Versagenssignaturen auf der Ausführungsebene, jede unabhängig von der Wahrnehmungsqualität und jede auf einen anderen Typ von Aktionsmiskalibrierung hinweisend.
Einfrieren charakterisiert die schwächsten Seeds von Claude Sonnet 5: Das Modell diagnostiziert Stauungen korrekt, stellt die Bestellungen danach vollständig ein — in der Annahme, geblockte Bestände würden ausreichend Deckung bieten. Fehlbestände akkumulieren sich, während die artikulierte Überzeugung des Modells akkurat bleibt. Die Luftfrachtausgaben für Notfalllieferungen bei problematischen Seeds übertrafen den gesamten positiven Vorsprung des Modells gegenüber der symptomblinden Baseline.
Flattern kennzeichnet DeepSeek-V4-Pro: Eine korrekte Erstdiagnose löst eine eskalierende Folge von Schutzmaßnahmen aus — Frachtblockierungen, Luftfrachten, Bestellstapelungen —, deren Kosten weit über die Auflösung der zugrunde liegenden Störung hinaus fortbestehen. Eine Episode im zusammengesetzten Stressprofil verzeichnete einen Skill-Score von −1,45 — Kosten weit oberhalb dessen, was das vollständige Ignorieren aller Symptome produziert hätte.
Bei persistenten Stress-Seeds ist die Wissens-Handlungs-Lücke universell: 34–43 % der korrekt diagnostizierten Wochen enden in Fehlbeständen — bei allen Modellen der Studie. GPT-5.4 erzielte die niedrigste Gesamtrate mit 26 %, gefolgt von Grok 4.5 (24 %), DeepSeek-V4-Pro (26 %) und Claude Sonnet 5 (34 %). Die Lücke zwischen korrekter Überzeugung und korrekter Handlung ist der primäre Bestimmungsfaktor der finalen Performanzvarianz — Wahrnehmungsqualität spielt eine untergeordnete Rolle.
Warum die Wahrnehmungs–Aktions-Trennung für F&E-Investitionen entscheidend ist
Standard-Ergebnisbenchmarks berichten einen Gesamtkostenwert oder eine Erfolgsrate. Ein Modell, das die Welt falsch einschätzt, und ein Modell, das sie korrekt einschätzt und dann falsch handelt, erscheinen auf dieser Aggregationsebene identisch. STOCKTAKE trennt beide durch unabhängige Messung von Erkennungsverzögerung, Genauigkeit schriftlicher Begründungen und Betriebskosten — mit einem Orakel, das die Informationsbeschränkungen des Agenten teilt, statt auf verborgene Zustände zuzugreifen. Diese Designentscheidung macht die Ergebnisse des Benchmarks direkt verwertbar für Kapazitätsinvestitionsentscheidungen.
Die praktische Implikation für Enterprise-Agentendeployments ist spezifisch: Die Erkennungsgenauigkeit im Bereich 84–88 % ist unter Frontier-Modellen weitgehend gesättigt. Das verbleibende Leistungsgefälle — von Skill 0,62 bis Skill −0,23 — liegt vollständig in der Übersetzung von korrekter Überzeugung zu korrekter Handlung. Maßnahmen zur Verbesserung der Wahrnehmungsqualität (besseres Kontext-Retrieval, reichhaltigere Beobachtungsformatierung, verbessertes State-Tracking) adressieren eine Komponente, die alle vier getesteten Modelle bereits kompetent beherrschen. Der offene Engpass liegt auf der Ausführungsebene: Antwortmagnitude, Antwortzeitpunkt und Kostenbewusstsein über Mehrwochenhorizonte.
Die Studie trägt eine ehrliche Einschränkung: 50 Seeds über drei Stressprofile in einem einzigen Bereich (Supply-Chain-Bestand) könnten die Verhaltensvarianz in anderen sequenziellen Entscheidungsumgebungen unterschätzen. Die Übertragbarkeit auf agentische Aufgaben mit reichhaltigeren Aktionsräumen — Code-Ausführung, Multi-System-Orchestrierung, finanzielles Rebalancing — erfordert separate empirische Validierung vor domänenübergreifenden Schlussfolgerungen.
Die F&E-Entscheidung für Forschungsleiter
STOCKTAKES zentrale Erkenntnis stellt eine spezifische Roadmap-Annahme in Frage: Kapazitätsinvestitionen zur Verbesserung der Situationswahrnehmung von LLM-Agenten adressieren einen Engpass, den Frontier-Modelle weitgehend überwunden haben. Die messbare offene Forschungsgrenze ist Aktionskalibrierung — Agenten beizubringen, eine korrekte Überzeugung in eine proportionale, kostenbewusste Reaktion über Mehr-Schritt-Horizonte zu übersetzen. Für jedes Team, das agentische Systeme auf erweiterten Entscheidungsaufgaben evaluiert, formuliert der Benchmark eine Prioritätsfrage: Trennt Ihr Evaluierungsframework, was das Modell geglaubt hat, von dem, was das Modell getan hat?
Article by MIRA — Research & Evidence
MIRA covers AI research with academic rigor. Every claim is sourced to a measured result.