Il divario tra 98,88% e 45,13%
Un model evaluation benchmark pubblicato il 10 settembre 2026 mette due numeri uno accanto all'altro. Su compiti atomici il modello migliore raggiunge 98,88% di coerenza logica. Sulla catena completa, lo stesso modello scende a 45,13%.
La misura arriva da LogiMed-RoB[1], costruito su 860 studi clinici randomizzati e 14.820 query, provato su dieci modelli di punta e accettato alla conferenza EMNLP 2026.
Il divario tra quelle due cifre è il luogo dove vive il rischio di deployment. La prima cifra finisce nelle slide dei fornitori. La seconda descrive cosa accade quando il compito arriva alla fine.
Diverse architetture open-weight scendono quasi a zero sulla coerenza end-to-end, pur tenendo punteggi alti sui singoli passi. Il fenomeno appare su tutti e dieci i sistemi provati, con intensità diversa.
Questo è il tipo di risultato che cambia la domanda da porre a un fornitore.
Come è costruito lo strumento di misura
Il benchmark prende la logica esperta dello strumento Cochrane Risk of Bias 2.0, lo standard con cui i revisori umani giudicano la qualità di uno studio clinico. La valutazione procede per gradi: domande di segnalazione, giudizio di dominio, giudizio complessivo.
Il framework di misura si chiama Hierarchical Logical Consistency e osserva quattro dimensioni distinte:
- Atomic Consistency: la tenuta del singolo giudizio elementare
- Domain Consistency: la coerenza dentro ciascun dominio di bias
- Aggregation Consistency: la tenuta del passaggio dai domini al giudizio finale
- Evidential Faithfulness: l'aderenza della conclusione all'evidenza citata
Questa architettura permette una cosa rara: separare il punto esatto dove il ragionamento si rompe dal punteggio finale. Un test di matching superficiale confronta l'etichetta prodotta con l'etichetta attesa e chiude lì. Qui ogni livello della gerarchia porta il proprio numero.
Il campione copre 860 trial e 14.820 query, un volume ampio per un compito clinico di questa specificità. Il lavoro è stato depositato su arXiv il 10 settembre 2026. Il disegno risponde a una critica vecchia rivolta a questa classe di misure: un punteggio unico dice poco sul percorso.
L'anomalia: il crollo supera l'aritmetica
Qui compare il dettaglio che merita attenzione. Con un tasso di successo del 98,88% per passo ed errori indipendenti tra loro, una catena di cinque giudizi arriverebbe attorno al 94,5%. Il valore osservato è 45,13%.
L'aritmetica sui valori pubblicati dice altro: per scendere a 45,13% con errori indipendenti servirebbero circa settanta passi consecutivi. La procedura Cochrane ne prevede molti meno.
La lettura che l'evidenza sostiene è diretta: gli errori sono correlati. Il modello sbaglia in modo sistematico sui punti dove la logica esperta richiede una deduzione, e quegli errori si concentrano invece di distribuirsi.
L'error compounding negli agenti multi-step resta il rischio peggio prezzato dai comitati di investimento. Questo lavoro ne offre una misura pulita, dentro un dominio dove la catena logica è scritta, pubblica e verificabile passo per passo.
Un aumento della lunghezza del compito costa molto più di quanto suggerisca il punteggio per passo.
Recuperare l'evidenza e dedurne la conclusione
Il secondo risultato riguarda il passaggio dall'evidenza alla conclusione. Anche quando recuperano evidenza di qualità alta, i modelli sbagliano la deduzione dell'esito nel 18,63-40,05% dei casi.
Il tasso di risposte prodotte come tentativo cieco, secondo la definizione degli autori, tocca il 48,28%.
Questo separa due problemi che il mercato tratta come uno: il recupero dell'informazione e il ragionamento su quell'informazione. Il primo migliora con infrastruttura dati, indicizzazione e retrieval. Il secondo resta dove era.
Per un Chief Analytics Officer la distinzione ha un costo preciso. Investire in RAG agisce sulla metà sinistra del problema e lascia intatta la metà destra, mentre il budget viene approvato come rimedio a entrambe.
Il divario tra evidenza recuperata e conclusione dedotta persiste su tutta la scala dei modelli provati, con un minimo del 18,63%. Anche il caso migliore lascia quasi un compito su cinque con una deduzione errata a partire da evidenza corretta.
Perché un punteggio aggregato nasconde il difetto
Un punteggio alto sull'accuratezza finale può convivere con un ragionamento rotto. Il modello arriva all'etichetta giusta percorrendo una strada sbagliata, e il test registra un successo.
Gli autori concludono che la verifica logica white-box diventa necessaria prima di qualunque uso clinico.
Il problema ha un parallelo documentato altrove. Un'analisi pubblicata sull'Alignment Forum[2] descrive quanto un modello riesce a portare a termine con catena di pensiero assente. Il testo visibile, quindi, racconta poco del processo interno.
Le due evidenze convergono su una diagnosi sola: leggere l'output finale misura l'output finale. Un model evaluation benchmark costruito su etichette resta cieco sul percorso che le produce.
La differenza conta soprattutto nei domini dove il percorso è la sostanza del lavoro: medicina basata su evidenza, revisione contabile, conformità. In questi casi un esito corretto ottenuto per caso vale poco. Il valore sta nella catena che lo giustifica.
Cosa cambia per chi alloca il budget
Per un comitato di investimento il numero rilevante è 45,13%, mai 98,88%. Il primo valore descrive il compito portato fino in fondo; il secondo descrive un passo isolato dentro quel compito.
La tesi tecnologica sostenuta da questi dati riguarda la verifica, mai la potenza grezza del modello. Il collasso appare su dieci sistemi di punta insieme, quindi il fattore che lo spiega sta nella struttura del compito.
Tre letture per tre tavoli diversi:
- CRO e Investment Committee: la spesa di validazione va dimensionata sulla catena intera, mai sul passo
- Chief Analytics Officer: serve infrastruttura che registri e confronti ogni giudizio intermedio
- Board: la tesi che il modello più capace risolva il problema resta priva di appoggio in questi dati
Una spesa di validazione dimensionata sull'accuratezza per passo sottostima il lavoro reale di verifica. La misura utile arriva dalla catena completa, provata sul volume e sulla varietà di casi che la produzione porta. Questo sposta risorse dal training verso l'infrastruttura di test.
Il costo della verifica cresce con la lunghezza della catena, e cresce più in fretta del punteggio atteso. Questa resta una diagnosi. La scelta di allocazione appartiene al tavolo che la prende, con il numero giusto davanti.
I limiti dichiarati dal lavoro
Il lavoro copre un dominio: la valutazione del rischio di bias negli studi clinici randomizzati. L'estensione ad altri compiti multi-step resta una domanda aperta, e gli autori la lasciano aperta.
Dieci modelli sono un campione piccolo rispetto al mercato, e i sistemi cambiano versione nel giro di settimane. La data del dato conta: 10 settembre 2026.
Il benchmark misura coerenza logica gerarchica, mai utilità clinica. Un sistema al 45,13% di coerenza end-to-end può restare utile come supporto sotto revisione umana, e questi dati tacciono sul punto. Una replica su un altro dominio direbbe quanto il risultato generalizza.
Quello che l'evidenza mostra è circoscritto e solido: accuratezza atomica e coerenza end-to-end sono due grandezze diverse. La distanza tra loro cresce con la lunghezza della catena, e la cifra che conta per il deployment è sempre la seconda.
Questo articolo è stato redatto da un autore editoriale AI con supervisione umana, in conformità agli obblighi di trasparenza del Regolamento (UE) 2024/1689 (AI Act, Art. 50). Le fonti sono linkate nel testo.
Article by MIRA
Fonti
- LogiMed-RoB 12 set 2026 (arxiv.org)
- Alignment Forum (alignmentforum.org)