I ricercatori della Tsinghua University e del gruppo Alibaba hanno misurato come la generazione a ordine arbitrario — la caratteristica architettonica distintiva dei modelli linguistici a diffusione — degradi attivamente le prestazioni di ragionamento: il 21,3% dei problemi di HumanEval risulta risolvibile esclusivamente tramite ordinamento autoregressivo, mentre la situazione inversa vale per lo 0,6%. Il risultato, premiato con l'Outstanding Paper all'ICML 2026 — uno dei due selezionati da 53 candidati — include già la soluzione: adottare GRPO standard su sequenze fisse sinistra-destra (JustGRPO) anziché il training RL a ordine arbitrario porta all'89,1% su GSM8K, conservando integralmente il throughput di decodifica parallela.
Come l'ordine arbitrario penalizza il ragionamento
I modelli linguistici a diffusione (dLLM) hanno conquistato l'attenzione delle aziende grazie a una capacità specifica: la generazione parallela di token, che offre vantaggi di throughput rispetto alla decodifica autoregressiva sequenziale. L'ipotesi centrale della ricerca sui dLLM è che la libertà di generare token in ordine arbitrario — il meccanismo che abilita il parallelismo — favorisca anche il ragionamento, consentendo un'esplorazione più ricca dello spazio delle soluzioni. Zanlin Ni, Shenzhi Wang e nove coautori di Tsinghua e Alibaba hanno verificato questa ipotesi direttamente.
La loro analisi si concentra sui cosiddetti "token di biforcazione": connettivi ad alta entropia — Therefore, Thus, Since, Let, Solving, Notice — che orientano le traiettorie logiche verso rami di ragionamento distinti. Con la generazione a ordine arbitrario, i modelli rimandano sistematicamente questi token. Al momento del loro completamento, il contesto circostante è già scritto e l'entropia in quelle posizioni è collassata. Il paper identifica questo come un meccanismo strutturale: il semplice atto di rinviare i token ad alta incertezza elimina il potenziale di biforcazione che rende produttivo il ragionamento a catena.
I dati sulla copertura delle soluzioni sono inequivocabili. Su HumanEval con k=1.024 campioni, il 21,3% dei problemi risulta risolvibile esclusivamente con l'ordinamento autoregressivo; la situazione inversa — problemi raggiungibili esclusivamente tramite ordine arbitrario — riguarda lo 0,6%. Gli output a ordine arbitrario costituiscono, nella formulazione dei ricercatori, un sottoinsieme stretto di quelli autoregressivi. La flessibilità che i dLLM propongono come vantaggio per il ragionamento si trasforma in un vincolo sulla diversità delle soluzioni.
Il team ha confermato che il meccanismo è continuo. Variando la dimensione del blocco semi-autoregressivo B su un intervallo di libertà di ordinamento, i ricercatori hanno riscontrato una degradazione monotonica: Pass@k decresce in modo costante all'aumentare di B, per k ∈ {8, 32, 128} e su tutti e quattro i benchmark (GSM8K, MATH-500, HumanEval, MBPP). L'effetto persiste a ogni livello di parallelismo testato e generalizza su diversi domini applicativi — codice, matematica e aritmetica elementare.
JustGRPO affronta la causa a livello di training. Il metodo applica il Group Relative Policy Optimization standard alla fattorizzazione autoregressiva esclusivamente durante il training RL, lasciando intatta l'architettura del modello e la procedura di inferenza basata su diffusione. L'inferenza rimane pienamente parallela. Addestrato per 125 step su 16×H100 con learning rate 5×10⁻⁶ e group size 16, JustGRPO raggiunge l'89,1% su GSM8K e il 45,1% su MATH-500. I metodi RL specifici per la diffusione ottengono risultati inferiori: ESPO all'82,3% / 39,0%, SPG all'86,1% / 40,0%, d1 all'81,1% / 38,6% e GDPO all'82,8% / 39,6%.
Il vantaggio della decodifica parallela si amplifica anziché erodersi. Misurato con l'Entropy Bounded Sampler a livelli crescenti di parallelismo, il margine di accuratezza di JustGRPO rispetto ai baseline si espande all'aumentare del throughput: su MBPP, il gap cresce dal +10,6% a un token per step al +25,5% a circa cinque token per step. Una variante pratica, JustGRPO-Fast, concentra il calcolo dei rapporti di probabilità sul 25% delle posizioni ad entropia più elevata, eliminando il 75% delle valutazioni forward aggiuntive con accuratezza equivalente o superiore nel confronto wall-clock.
Perché le aziende che valutano i dLLM hanno bisogno di questi numeri
I modelli linguistici a diffusione entrano nelle valutazioni enterprise con un'unica proposta architettonica: inferenza più rapida tramite generazione parallela. I modelli commerciali di classe Mercury e Gemini Diffusion posizionano il throughput come differenziazione primaria. La velocità è reale — JustGRPO la valida e la estende. Il comitato Outstanding Paper dell'ICML 2026 — undici membri, 53 candidati iniziali, 22 in lista ristretta — ha selezionato questo lavoro tra i due Outstanding Paper: la venue annuale più competitiva del settore tratta il costo di ragionamento della generazione a ordine arbitrario come una questione empiricamente risolta.
La conseguenza pratica per le valutazioni enterprise è diretta. Un divario di 8 punti percentuali tra JustGRPO (89,1%) e d1 (81,1%) su GSM8K è un divario che il training RL a ordine arbitrario genera attivamente. Per i carichi di lavoro di ragionamento — analisi finanziaria multi-step, generazione di codice su larga scala, revisione di documenti legali — quel divario ha un costo di produzione misurabile. L'analisi dei token di biforcazione fornisce uno strumento diagnostico: misurare l'entropia ai connettivi logici durante la generazione e confrontare i tassi di completamento tra ordine arbitrario e ordine autoregressivo. Un modello che rimanda i token di biforcazione ad alta entropia presenta un deficit di diversità delle soluzioni misurabile, indipendentemente dall'etichetta architettonica.
Lo studio utilizza LLaDA-Instruct come modello base. La degradazione monotonica su quattro benchmark e l'analisi della copertura (21,3% vs. 0,6%) forniscono basi per trattare il risultato come strutturale alla decodifica a ordine arbitrario in senso ampio. La replica su architetture MDLM, Plaid e Mercury rappresenta una questione empirica aperta — e una che le decisioni di acquisto downstream dovrebbero richiedere ai vendor prima di accettare i benchmark di ragionamento al valore nominale.
La domanda per la roadmap R&D
La domanda specifica per qualsiasi team con un dLLM nella propria roadmap: la vostra valutazione del ragionamento presuppone la generazione a ordine arbitrario, e il vostro fine-tuning RL preserva tale presupposto? Adottare il fix di 125 step di JustGRPO — codice e modelli disponibili pubblicamente su arXiv — recupera l'intero vantaggio di throughput della decodifica parallela e aggiunge 8 punti di ragionamento. La scommessa architettonica su cui i dLLM vengono venduti risulta separabile dalla scommessa sulla velocità di inferenza che li rende acquistabili. Acquisire il vantaggio di velocità richiede di adottare il vincolo di training che ripristina il ragionamento.
Articolo di MIRA — Research & Evidence
MIRA copre la ricerca sull'IA con rigore accademico. Ogni affermazione è ricavata da un risultato misurato.