ReDraft: post-training continuo con 11,3x meno forgetting

Due numeri sullo stesso modello

Un preprint di 37 pagine, depositato su arXiv il 15 settembre 2026 da un gruppo di 18 autori, mette due numeri uno accanto all'altro. Su tre compiti visivi, con Qwen2.5-VL da 3 e da 7 miliardi di parametri, il metodo proposto guadagna 56,9 punti sul compito nuovo e perde 1,5 punti sui compiti precedenti. Il fine-tuning supervisionato classico, sugli stessi dati, guadagna 52,9 punti e ne perde 16,6.

Il rapporto tra le due perdite è 11,3 volte. È il dato che l'abstract di ReDraft^[1] mette al centro.

L'evidenza mostra una cosa precisa. La tensione tra imparare un compito nuovo e conservare le capacità già acquisite, nel post-training continuo dei large language model multimodali (vision-language), dipende dal target scelto per l'aggiornamento. Cambiando il target, la tensione si riduce di un ordine di grandezza sugli stessi modelli e sugli stessi compiti.

Cosa hanno misurato gli autori

Il protocollo usa tre compiti: Counting, Clock Reading e Jigsaw. Due dei tre partono da un'accuratezza vicina allo zero sul modello base, un dettaglio che pesa sull'interpretazione dei risultati.

I modelli sono due varianti di Qwen2.5-VL, da 3 e da 7 miliardi di parametri. Gli autori misurano due grandezze per ogni metodo: il guadagno sul compito appena appreso e la perdita media sui compiti precedenti.

Tre metodi vengono confrontati sulle stesse coppie di numeri. Il primo è il fine-tuning supervisionato (SFT), che allena il modello sulla risposta dell'esperto. Il secondo è OPSD, la variante di self-distillation on-policy usata come confronto, che allena il modello sui propri output. Il terzo è ReDraft, il metodo proposto dal gruppo.

Il meccanismo: la distanza tra target e policy

La spiegazione degli autori parte dalla natura del target. SFT dà un segnale esplicito e forte: la risposta corretta dell'esperto. Quel segnale è off-policy, lontano da ciò che il modello produrrebbe in autonomia, e sposta i pesi abbastanza da cancellare capacità precedenti.

I metodi on-policy, come RLVR e la self-distillation, restano vicini alla policy corrente. Il problema è opposto: quando il modello parte da zero sul compito, i suoi rollout contengono poco segnale utile. Un modello che sbaglia quasi sempre produce pochi esempi da cui imparare.

ReDraft prende una via intermedia. Mostra al modello la risposta dell'esperto come riferimento, gli chiede di rivedere il proprio rollout errato, e tiene la revisione unicamente quando un verificatore la accetta. Il fine-tuning avviene su ciò che sopravvive al filtro.

Ogni target conservato è quindi esplicito, perché corretto, e insieme vicino alla policy, perché nasce dal testo del modello stesso.

Il confronto con OPSD e un'ambiguità nell'abstract

Il confronto con OPSD è meno lineare di quanto appaia. L'abstract riporta la coppia 19,3 di guadagno e 6,2 di perdita e afferma che ReDraft migliora su entrambi gli assi. Il testo lascia aperto un dubbio: quei due valori descrivono OPSD in assoluto oppure il margine tra i due metodi.

Nella prima lettura, OPSD impara poco (19,3 punti contro 56,9) e dimentica poco (6,2 contro 1,5). Nella seconda, il margine a favore di ReDraft è di 19,3 punti di guadagno e 6,2 punti di perdita in meno. Le 37 pagine del preprint contengono le tabelle che sciolgono il dubbio; l'abstract, preso in isolamento, lo lascia intatto.

In entrambe le letture la direzione resta la stessa.

Il metodo on-policy puro paga in apprendimento ciò che risparmia in forgetting, e la revisione guidata da un riferimento supera il compromesso.

Cosa dicono le analisi nello spazio dati e parametri

Gli autori aggiungono due analisi che rendono il risultato meno accidentale. La prima è nello spazio dei dati: i target revisionati risultano più probabili sotto il modello base rispetto alle risposte dell'esperto. Un target più probabile richiede uno spostamento minore dei pesi.

La seconda è nello spazio dei parametri. Gli aggiornamenti indotti da ReDraft restano compatti e seguono la direzione di SFT più da vicino di quanto faccia OPSD. Il metodo impara nella stessa direzione dell'esperto, con passi più corti.

È questa coerenza tra design e misura che sostiene la tesi del paper.

La dicotomia tra apprendere e conservare risulta un artefatto del target off-policy, anziché un vincolo intrinseco dell'ottimizzazione.

Il verificatore come variabile nascosta

Il filtro che accetta o scarta ogni revisione decide quali esempi entrano nel training. Nei tre compiti del paper la verifica è meccanica: un conteggio, un orario, la posizione dei pezzi. La risposta corretta esiste ed è unica.

Questa proprietà rende il ciclo di revisione poco costoso e affidabile. Su compiti aperti, come una sintesi o una diagnosi, il ruolo del verificatore passa a un giudice, umano o automatico, e il costo del filtro cresce.

L'abstract omette la quota di revisioni accettate. Quel numero misura quanto lavoro di inferenza serve per ogni esempio utile, e resta da leggere nel corpo del paper.

I limiti dichiarati dell'evidenza

L'evidenza ha un perimetro stretto, e va detto. Tre compiti sintetici, due taglie di un unico modello, un verificatore automatico che decide cosa entra nel training. Contare oggetti, leggere orologi e ricomporre puzzle sono compiti con risposta verificabile; molti compiti di produzione mancano di questa proprietà.

Le cifre citate qui vengono dall'abstract pubblico del preprint. La lettura completa delle 37 pagine, con protocolli, varianze e ablation, resta il passo necessario prima di generalizzare.

Il rapporto 11,3x vale per queste condizioni. Quanto regga su compiti con accuratezza iniziale alta, su modelli più grandi o su domini privi di verificatore, resta una dimensione a parte, in larga parte ancora da misurare.

Cosa cambia per chi alloca budget e progetta infrastruttura

Per chi alloca budget R&D, il dato misurato sposta una domanda. Il costo del forgetting nel post-training continuo dipende dalla distanza tra target e policy corrente, più che dal metodo di ottimizzazione. La spesa per mitigare il forgetting con tecniche di regolarizzazione affronta un sintomo, mentre la scelta del target agisce sulla causa.

Per chi progetta l'infrastruttura dati, il paper descrive tre componenti: un archivio di risposte di riferimento, un ciclo di revisione dei rollout errati, un verificatore affidabile. Il terzo è il collo di bottiglia. Il metodo regge quanto regge il verificatore.

Per un board, la tesi supportata dai dati è circoscritta. In continual learning multimodale su compiti verificabili, la revisione del proprio output supera la sostituzione con l'output dell'esperto, su entrambi gli assi misurati. Oltre questo perimetro, l'evidenza tace.