Un team di 25 ricercatori delle università di Fudan, Zhejiang, Shanghai Jiaotong, Pechino e CAMEL-AI.org ha quantificato con precisione di quanto i punteggi dei benchmark per agenti si gonfino rispetto alle condizioni di deployment reale: su AgentGym2, una valutazione di 437 task accettata all'ACL 2026, GPT-5 ottiene un Avg@3 complessivo di 46,15, Claude-4.5-Sonnet raggiunge 37,17 e Gemini-2.5-Pro segna 20,67 — con ablazioni che mostrano GPT-5 perdere 12,07 punti nel momento in cui il recupero di informazioni nascoste viene de-idealizzato.
Cosa misura AgentGym2 e cosa ha rilevato
AgentGym2 è stato sviluppato per colmare il divario tra la valutazione controllata e gli ambienti di produzione. Il benchmark comprende 437 task in 27 domini, distribuiti in tre categorie: Complex Tool Use (182 task), Data Analysis (57 task) e Deep Search (198 task), con 652 allegati complessivi. I task provengono da GitHub, Reddit, Kaggle, Wikipedia e contributi volontari — con copertura bilingue cinese e inglese — e vengono valutati con un protocollo in stile ReAct con un massimo di 100 round di interazione per task, eseguito tre volte per calcolare Avg@3 e Pass@3. La valutazione è condotta da un giudice LLM Qwen3-235B che raggiunge un accordo del 98,9% con la verifica umana.
La decisione progettuale centrale è l'eliminazione di quattro idealizzazioni presenti nei benchmark per agenti esistenti. I benchmark standard forniscono ai modelli elenchi di strumenti pre-catalogati, input puliti e completamente specificati, istruzioni prive di ambiguità e informazioni complete. AgentGym2 richiede invece la scoperta degli strumenti tramite esplorazione attiva, espone gli agenti a dati rumorosi e distorti, introduce ambiguità deliberata nelle specifiche dei task e trattiene informazioni che gli agenti devono recuperare attraverso ricerche multi-step. La rimozione di ciascuna idealizzazione viene ablata in modo indipendente — rendendo il contributo principale del benchmark la misurazione del costo di prestazione per ciascuna condizione, tanto quanto la classifica aggregata.
Quindici modelli proprietari e open source sono stati valutati. GPT-5 guida con un Avg@3 complessivo di 46,15, scomposto in 48,72 in Complex Tool Use, 39,18 in Data Analysis e 45,80 in Deep Search. Claude-4.5-Sonnet raggiunge 37,17 Avg@3 complessivo, con 42,38 in Complex Tool Use, 39,77 in Data Analysis e 31,63 in Deep Search. Gemini-2.5-Pro ottiene 20,67 Avg@3 complessivo. I risultati Pass@3 — la percentuale di completamento riuscito in almeno un tentativo su tre — raggiungono il 65,68% per GPT-5 e il 47,82% per Claude-4.5-Sonnet.
Il divario di idealizzazione, misurato condizione per condizione
Lo studio ablativo costituisce il contributo operativamente più preciso del paper. Per il recupero di informazioni nascoste — la condizione che richiede agli agenti di scoprire attivamente le informazioni anziché riceverle già pronte — GPT-5 scende da 61,67 (idealizzato) a 49,60 (de-idealizzato), con una perdita di 12,07 punti percentuali. Gemini-2.5-Pro scende da 33,33 a 18,67, perdendo 14,66 punti — il calo più elevato per singola condizione dello studio.
La scoperta degli strumenti — che richiede agli agenti di identificare gli strumenti disponibili tramite esplorazione attiva anziché attraverso un catalogo pre-fornito — costa a GPT-5 6,79 punti (53,57 → 46,78). La condizione di ambiguità e rumore, che inietta dati distorti e inconsistenti nei contesti dei task, costa a GPT-5 ulteriori 7,41 punti (48,15 → 40,74).
L'analisi delle modalità di fallimento mappa la fonte qualitativa di tali perdite per categoria di task. In Complex Tool Use, il Confirmation Bias rappresenta il 24,7% dei fallimenti: gli agenti si aggrappano a un'ipotesi iniziale e interpretano i successivi output degli strumenti come conferma. In Data Analysis, l'Instruction Misinterpretation determina il 27,0% dei fallimenti: specifiche ambigue producono un inquadramento analitico errato fin dall'inizio. In Deep Search, l'Insufficient Exploration causa il 35,2% dei fallimenti: gli agenti terminano la ricerca prematuramente, restituendo risposte incomplete o ancora da verificare. Queste sono tendenze sistematiche e riproducibili — comportamenti strutturati che le condizioni di valutazione idealizzate sopprimono attivamente, rendendoli invisibili ai consumatori di benchmark fino al momento del deployment.
Perché questo conta oltre il laboratorio
L'acquisizione e il dimensionamento dei deployment di agenti aziendali sono attualmente calibrati sulla base di punteggi benchmark prodotti in condizioni idealizzate. AgentGym2 fornisce la prima quantificazione per condizione del premio di idealizzazione: per GPT-5, il divario tra prestazioni idealizzate e de-idealizzate nel recupero di informazioni nascoste raggiunge 12,07 punti — un numero concreto e verificabile, integrabile nelle RFP di valutazione dei fornitori e nei registri di rischio per il deployment interno.
La tassonomia delle modalità di fallimento porta implicazioni ingegneristiche specifiche. Il Confirmation Bias in Complex Tool Use è affrontabile architetturalmente tramite cicli di valutazione multi-ipotesi nella fase di pianificazione dell'agente. L'Insufficient Exploration in Deep Search risponde a obiettivi espliciti di copertura nello scaffolding dell'agente — una scelta progettuale misurabile rispetto al tasso di fallimento del 35,2% del benchmark. L'Instruction Misinterpretation in Data Analysis suggerisce protocolli di chiarimento strutturato prima dell'esecuzione del task, in particolare per i deployment in cui le specifiche arrivano da stakeholder privi di competenze tecniche.
L'investimento nel post-training dimostra un segnale significativo nel contesto de-idealizzato. Tra i modelli open source, Nex-N1-32B supera Qwen3-32B — condividendo la stessa architettura base — di circa 9 punti percentuali, e Nex-N1-671B supera DeepSeek-V3.1 di circa 10 punti, guadagni attribuibili al post-training specifico per agenti su distribuzioni di task reali. Il fine-tuning mirato può recuperare una quota sostanziale della penalizzazione da idealizzazione, offrendo potenzialmente un percorso più efficiente in termini di capitale rispetto allo scaling verso un modello base più grande.
Un vincolo progettuale da evidenziare: l'ambito dei 437 task, pur coprendo 27 domini con copertura bilingue, rappresenta un'approssimazione curata della complessità del mondo reale piuttosto che un corpus derivato da log di deployment misurati sul campo. Le tre modalità di fallimento sono radicate nella struttura del benchmark; gli ambienti di produzione possono far emergere pattern di fallimento aggiuntivi al di fuori di queste categorie.
La decisione R&D
AgentGym2 offre ai team di ricerca e prodotto quattro leve quantificate: costo della scoperta degli strumenti (fino a 6,79 punti per GPT-5), costo del recupero di informazioni nascoste (fino a 12,07 punti), costo della tolleranza all'ambiguità (fino a 7,41 punti) e costo della robustezza al rumore. La domanda operativa per ogni CTO che dimensiona un deployment di agenti: quali di queste quattro condizioni impone il vostro ambiente target — e l'investimento in post-training o scaffolding necessario per colmare quei gap specifici è già previsto nella roadmap attuale, in parallelo alla decisione di selezione del modello base o in anticipo rispetto a essa?
Articolo di MIRA — Research & Evidence
MIRA copre la ricerca sull'IA con rigore accademico. Ogni affermazione è verificata da un risultato misurato.