Ein 25-köpfiges Forscherteam der Fudan-Universität, Zhejiang-Universität, Shanghai Jiaotong-Universität, Peking-Universität und CAMEL-AI.org hat exakt quantifiziert, um wie viel Agenten-Benchmark-Scores die Realität von Deployment-Umgebungen übersteigen: Auf AgentGym2, einer Evaluation mit 437 Aufgaben, die für ACL 2026 angenommen wurde, erreicht GPT-5 einen Gesamt-Avg@3 von 46,15, Claude-4.5-Sonnet kommt auf 37,17 und Gemini-2.5-Pro erzielt 20,67 — Ablationen zeigen, dass GPT-5 sofort 12,07 Punkte verliert, sobald die Hidden-Information-Retrieval-Bedingung de-idealisiert wird.
Was AgentGym2 misst und was es ergab
AgentGym2 wurde entwickelt, um die Lücke zwischen kontrollierter Evaluation und Produktionsumgebungen zu schließen. Der Benchmark umfasst 437 Aufgaben in 27 Domänen, aufgeteilt in drei Kategorien: Complex Tool Use (182 Aufgaben), Data Analysis (57 Aufgaben) und Deep Search (198 Aufgaben), mit insgesamt 652 Anhängen. Die Aufgaben stammen aus GitHub, Reddit, Kaggle, Wikipedia und Freiwilligen-Einreichungen — mit zweisprachiger Abdeckung auf Chinesisch und Englisch — und werden mit einem ReAct-Protokoll mit bis zu 100 Interaktionsrunden pro Aufgabe bewertet, wobei jede Aufgabe dreimal ausgeführt wird, um Avg@3 und Pass@3 zu berechnen. Die Bewertung erfolgte durch einen Qwen3-235B-LLM-Richter mit 98,9% Übereinstimmung mit menschlicher Verifikation.
Die zentrale Designentscheidung ist die Elimination von vier Idealisierungen, die in bestehenden Agenten-Evaluationen verbreitet sind. Standard-Benchmarks stellen Modellen vorab katalogisierte Tool-Listen, saubere und vollständig spezifizierte Eingaben, eindeutige Anweisungen und vollständige Informationen zur Verfügung. AgentGym2 verlangt stattdessen Tool-Discovery durch aktive Exploration, konfrontiert Agenten mit verrauschten und verzerrten Daten, führt bewusste Mehrdeutigkeit in Aufgabenspezifikationen ein und hält Informationen zurück, die Agenten durch mehrstufige Suchen abrufen müssen. Jede Idealisierungsbeseitigung wird unabhängig abliert — womit der Hauptbeitrag des Benchmarks in der Per-Bedingung-Leistungskostenmessung besteht, ebenso wie in der aggregierten Rangliste.
Fünfzehn proprietäre und quelloffene Modelle wurden bewertet. GPT-5 führt mit einem Gesamt-Avg@3 von 46,15, aufgeteilt in 48,72 bei Complex Tool Use, 39,18 bei Data Analysis und 45,80 bei Deep Search. Claude-4.5-Sonnet erreicht 37,17 Avg@3 gesamt, mit 42,38 bei Complex Tool Use, 39,77 bei Data Analysis und 31,63 bei Deep Search. Gemini-2.5-Pro erzielt 20,67 Avg@3 gesamt. Die Pass@3-Ergebnisse — die Rate erfolgreicher Abschlüsse in mindestens einem von drei Versuchen — erreichen 65,68% für GPT-5 und 47,82% für Claude-4.5-Sonnet.
Die Idealisierungslücke, Bedingung für Bedingung gemessen
Die Ablationsstudie ist der operativ präziseste Beitrag des Papers. Für Hidden-Information Retrieval — die Bedingung, bei der Agenten Informationen aktiv entdecken müssen, anstatt sie vorab zu erhalten — fällt GPT-5 von 61,67 (idealisiert) auf 49,60 (de-idealisiert), ein Verlust von 12,07 Prozentpunkten. Gemini-2.5-Pro verliert bei derselben Bedingung 14,66 Punkte (33,33 → 18,67) — der größte Einzel-Bedingungsrückgang der Studie.
Tool Discovery — Agenten müssen verfügbare Tools durch aktive Exploration identifizieren, anstatt einen bereitgestellten Katalog zu nutzen — kostet GPT-5 6,79 Punkte (53,57 → 46,78). Die Mehrdeutigkeits- und Rausch-Bedingung, die verzerrte und inkonsistente Daten in Aufgabenkontexte injiziert, kostet GPT-5 weitere 7,41 Punkte (48,15 → 40,74).
Die Fehlermodusanalyse kartiert die qualitative Quelle dieser Verluste nach Aufgabenkategorie. Im Bereich Complex Tool Use macht Confirmation Bias 24,7% der Fehler aus: Agenten klammern sich an eine Ausgangshypothese und interpretieren nachfolgende Tool-Ausgaben als Bestätigung. In Data Analysis verursacht Instruction Misinterpretation 27,0% der Fehler: Mehrdeutige Spezifikationen führen von Anfang an zu einem falschen analytischen Rahmen. In Deep Search verursacht Insufficient Exploration 35,2% der Fehler: Agenten beenden die Suche vorzeitig und liefern unvollständige oder unverifizierte Antworten. Dies sind systematische, reproduzierbare Tendenzen — strukturierte Verhaltensweisen, die idealisierte Evaluationsbedingungen aktiv unterdrücken und dadurch für Standard-Benchmark-Konsumenten bis zum Deployment unsichtbar bleiben.
Warum das über das Labor hinaus relevant ist
Unternehmensbudgets für Agenten werden derzeit auf Basis von Benchmark-Scores allokiert, die unter idealisierten Bedingungen erzeugt wurden. AgentGym2 liefert die erste Per-Bedingung-Quantifizierung des Idealisierungspremiums: Für GPT-5 beträgt die Lücke zwischen idealisierter und de-idealisierter Leistung beim Hidden-Information Retrieval allein 12,07 Punkte — eine konkrete, überprüfbare Zahl, integrierbar in Anbieter-Bewertungs-RFPs und interne Deployment-Risikoregister.
Die Fehlermodusklassifizierung trägt spezifische ingenieurtechnische Implikationen. Confirmation Bias in Complex Tool Use ist architektonisch durch Multi-Hypothesen-Evaluationsschleifen in der Agentenplanungsphase adressierbar. Insufficient Exploration in Deep Search reagiert auf explizite Coverage-Ziele im Agenten-Scaffolding — eine Designentscheidung, die sich an der 35,2%-Fehlerrate des Benchmarks messen lässt. Instruction Misinterpretation in Data Analysis spricht für strukturierte Klärungsprotokolle vor der Aufgabenausführung, insbesondere in Deployments, bei denen Aufgabenspezifikationen von fachfremden Stakeholdern ankommen.
Post-Training-Investitionen zeigen ein aussagekräftiges Signal im de-idealisierten Umfeld. Unter den quelloffenen Modellen übertrifft Nex-N1-32B das Qwen3-32B — mit identischer Basisarchitektur — um rund 9 Prozentpunkte, und Nex-N1-671B übertrifft DeepSeek-V3.1 um rund 10 Punkte, Gewinne, die auf agentenspezifisches Post-Training auf realen Aufgabenverteilungen zurückzuführen sind. Gezieltes Fine-Tuning kann einen wesentlichen Teil der Idealisierungsstrafe ausgleichen und bietet potenziell einen kapitaleffizienteren Weg als das Skalieren auf größere Basismodelle.
Einen Designaspekt sprechen die Autoren transparent an: Der Umfang der 437 Aufgaben, der 27 Domänen mit zweisprachiger Abdeckung umfasst, repräsentiert eine kuratierte Annäherung an reale Komplexität und entspricht eher einer Näherung als tatsächlich gemessenen Deployment-Logs. Die drei identifizierten Fehlermodi sind in der Struktur des Benchmarks verwurzelt; Produktionsumgebungen können zusätzliche Fehlermuster außerhalb dieser Kategorien aufdecken.
Die F&E-Entscheidung
AgentGym2 gibt Forschungs- und Produktteams vier quantifizierte Hebel: Tool-Discovery-Kosten (bis zu 6,79 Punkte für GPT-5), Hidden-Information-Retrieval-Kosten (bis zu 12,07 Punkte), Mehrdeutigkeitstoleranz-Kosten (bis zu 7,41 Punkte) und Rauschrobustheits-Kosten. Die operative Frage für jeden CTO, der ein Agenten-Deployment plant: Welche dieser vier Bedingungen legt Ihre Zielumgebung auf — und sind die Post-Training- oder Scaffolding-Investitionen zum Schließen dieser spezifischen Lücken bereits in der aktuellen Roadmap vorgesehen, parallel zur oder vorrangig vor der Entscheidung zur Auswahl des Basismodells?
Artikel von MIRA — Research & Evidence
MIRA berichtet über KI-Forschung mit akademischer Strenge. Jede Aussage ist durch ein gemessenes Ergebnis belegt.