Gli Agenti LLM Diagnosticano Correttamente — e Falliscono nell'Azione: STOCKTAKE Misura il Divario

Un benchmark di supply-chain su 26 settimane, pubblicato su arXiv il 15 luglio 2026, isola un preciso punto di cedimento negli agenti LLM di punta: quattro modelli in produzione rilevano l'84–88% delle disruzioni nascoste entro una settimana, eppure due dei quattro generano costi superiori a una regola cieca ai sintomi che ignora completamente ogni informazione diagnostica.

Cosa hanno costruito e misurato i ricercatori

Sagar Deb e Ashwanth Krishnan hanno progettato STOCKTAKE come un processo di Markov parzialmente osservabile: un task di rifornimento inventariale su 26 settimane con sei processi di fattori nascosti — shock sui lead time dei fornitori, picchi di domanda, eventi di congestione — distribuiti su 50 seed con tre profili di stress (isolato, persistente, composto). Quattro modelli in produzione hanno partecipato: Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro e Grok 4.5.

L'innovazione metodologica è l'oracolo equo: un filtro di Bayes che riceve esattamente lo stesso flusso di osservazioni di ogni agente, mantenendo distribuzioni posteriori esatte per ciascun fattore nascosto e campionando circa 200 scenari futuri per decisione. Il costo di riferimento per seed è la media di 20 repliche. Questo stabilisce il soffitto del punteggio di abilità — (Costo Base − Costo Agente) ÷ (Costo Base − Costo Oracolo) — dove 0 corrisponde a una regola cieca ai sintomi e 1 alla performance dell'oracolo. I punteggi negativi indicano prestazioni inferiori a una politica che tratta tutti i sintomi come rumore.

Le prestazioni di rilevamento hanno convergito con precisione. Tutti e quattro i modelli hanno identificato l'84–88% degli episodi di stress sui fattori nascosti entro circa una settimana dall'insorgenza. Il risultato più controintuitivo: i due modelli con le prestazioni finali peggiori sono anche i percettori più veloci, con lag di rilevamento di 0,32 settimane rispetto a 0,40–0,42 settimane dei migliori. Velocità percettiva e competenza di controllo si sono rivelate del tutto scorrelate.

Le prestazioni di controllo hanno divergito nettamente. I punteggi di abilità sono andati da 0,62 (GPT-5.4) a −0,23 (DeepSeek-V4-Pro), con Claude Sonnet 5 a 0,49 e Grok 4.5 a −0,13. Il dettaglio per profilo rivela firme comportamentali specifiche: GPT-5.4 ha segnato 0,21 su seed di stress isolato e 0,86 su scenari composti, a suggerire che la sua politica decisionale scala con la complessità della disruzione. Claude Sonnet 5 ha mostrato il pattern opposto — 0,54 su isolato, 0,70 su persistente, 0,33 su composto — indicando che la pressione multi-fattore degrada la sua disciplina di ordinazione. Grok 4.5 è sceso al di sotto del pavimento cieco ai sintomi in 28 dei 49 seed valutabili; DeepSeek-V4-Pro in 22 su 49.

Due modalità di fallimento opposte al livello di azione

I ricercatori hanno identificato due firme di cedimento distinte al layer esecutivo, ciascuna indipendente dalla qualità della percezione e ciascuna indicativa di un tipo diverso di miscalibrazione dell'azione.

Il congelamento caratterizza i seed peggiori di Claude Sonnet 5: il modello diagnostica correttamente la congestione, poi interrompe gli ordini del tutto — ragionando che le scorte bloccate forniscono copertura adeguata. Gli stockout si accumulano mentre la credenza dichiarata del modello rimane accurata. La spesa per spedizioni aeree d'emergenza sui seed problematici ha superato l'intero margine positivo del modello rispetto al pavimento cieco ai sintomi.

Il disorientamento caratterizza DeepSeek-V4-Pro: una diagnosi iniziale corretta innesca una sequenza crescente di azioni protettive — blocchi merci, spedizioni aeree, accumuli di ordini — i cui costi persistono ben oltre la risoluzione della disruzione sottostante. Un episodio nel profilo di stress composto ha registrato un punteggio di abilità di −1,45, costi ampiamente superiori a quelli che avrebbe prodotto ignorare tutti i sintomi.

Sui seed di stress persistente, il divario tra sapere e fare è universale: il 34–43% delle settimane correttamente diagnosticate termina in stockout in tutti i modelli dello studio. GPT-5.4 ha registrato il tasso complessivo più basso al 26%, seguito da Grok 4.5 (24%), DeepSeek-V4-Pro (26%) e Claude Sonnet 5 (34%). Il divario tra credenza corretta e azione corretta è il determinante principale della varianza di performance finale — la qualità della percezione gioca un ruolo secondario.

Perché la separazione percezione–azione importa per gli investimenti R&D

I benchmark standard sull'esito finale riportano un costo complessivo o un tasso di successo. Un modello che fraintende il mondo e un modello che lo legge correttamente per poi agire in modo errato appaiono identici a quel livello di aggregazione. STOCKTAKE li separa misurando indipendentemente il lag di rilevamento, l'accuratezza delle motivazioni scritte e il costo operativo — con un oracolo che condivide i vincoli informativi dell'agente piuttosto che accedere alla verità nascosta. Questa scelta progettuale rende i risultati del benchmark direttamente azionabili per le decisioni di investimento in capacità.

L'implicazione pratica per i deployment enterprise agentici è specifica: l'accuratezza del rilevamento nella fascia 84–88% è ormai prossima alla saturazione tra i modelli frontier. La dispersione residua di performance — dal punteggio 0,62 al punteggio −0,23 — risiede interamente nella traduzione dalla credenza corretta all'azione corretta. Gli interventi mirati alla qualità della percezione (recupero di contesto migliore, formattazione delle osservazioni più ricca, prompt di state-tracking avanzati) affrontano una componente che tutti e quattro i modelli testati già gestiscono con competenza. Il collo di bottiglia aperto è la calibrazione dell'esecuzione: magnitudine della risposta, tempistica della risposta e consapevolezza dei costi su orizzonti decisionali di più settimane.

Lo studio porta con sé un limite onesto: 50 seed su tre profili di stress in un unico dominio (inventario supply-chain) potrebbe sottostimare la varianza comportamentale in altri ambienti decisionali sequenziali. La generalizzazione a task agentici con spazi di azione più ricchi — esecuzione di codice, orchestrazione multi-sistema, ribilanciamento finanziario — richiede validazione empirica dedicata prima di trarre conclusioni di carattere generale.

La decisione R&D per i responsabili della ricerca

La scoperta centrale di STOCKTAKE mette in discussione un presupposto specifico della roadmap: gli investimenti in capacità mirati a migliorare la consapevolezza situazionale degli agenti LLM affrontano un collo di bottiglia che i modelli frontier hanno in larga misura già superato. La frontiera di ricerca aperta e misurabile è la calibrazione dell'azione — formare gli agenti a tradurre una credenza corretta in una risposta proporzionata e consapevole dei costi su orizzonti multi-step. Per qualsiasi team che valuta sistemi agentici su task decisionali estesi, il benchmark pone una domanda da prioritizzare: il vostro framework di valutazione separa ciò che il modello ha creduto da ciò che il modello ha fatto?