ReDraft: Kontinuierliches Post-Training mit 11,3-mal weniger Forgetting

Zwei Zahlen zum selben Modell

Ein 37-seitiges Preprint, am 15. September 2026 von einer Gruppe aus 18 Autoren auf arXiv hinterlegt, stellt zwei Zahlen nebeneinander. Auf drei visuellen Aufgaben, mit Qwen2.5-VL in den Größen 3 und 7 Milliarden Parameter, gewinnt die vorgeschlagene Methode 56,9 Punkte auf der neuen Aufgabe und verliert 1,5 Punkte auf den vorherigen Aufgaben. Das klassische überwachte Fine-Tuning gewinnt auf denselben Daten 52,9 Punkte und verliert 16,6.

Das Verhältnis zwischen den beiden Verlusten beträgt das 11,3-Fache. Es ist die Zahl, die das Abstract von ReDraft^[1] in den Mittelpunkt stellt.

Die Evidenz zeigt etwas Präzises. Die Spannung zwischen dem Erlernen einer neuen Aufgabe und dem Bewahren bereits erworbener Fähigkeiten hängt im kontinuierlichen Post-Training multimodaler Large Language Models (Vision-Language) vom Target ab, das für das Update gewählt wird. Ändert man das Target, verringert sich die Spannung auf denselben Modellen und denselben Aufgaben um eine Größenordnung.

Was die Autoren gemessen haben

Das Protokoll verwendet drei Aufgaben: Counting, Clock Reading und Jigsaw. Zwei der drei starten auf dem Basismodell bei einer Genauigkeit nahe null, ein Detail, das für die Interpretation der Ergebnisse Gewicht hat.

Die Modelle sind zwei Varianten von Qwen2.5-VL, mit 3 und mit 7 Milliarden Parametern. Die Autoren messen für jede Methode zwei Größen: den Gewinn auf der gerade erlernten Aufgabe und den durchschnittlichen Verlust auf den vorherigen Aufgaben.

Drei Methoden werden anhand derselben Zahlenpaare verglichen. Die erste ist das überwachte Fine-Tuning (SFT), das das Modell auf der Expertenantwort trainiert. Die zweite ist OPSD, die als Vergleich verwendete Variante der On-Policy-Self-Distillation, die das Modell auf seinen eigenen Ausgaben trainiert. Die dritte ist ReDraft, die von der Gruppe vorgeschlagene Methode.

Der Mechanismus: der Abstand zwischen Target und Policy

Die Erklärung der Autoren setzt bei der Natur des Targets an. SFT liefert ein explizites, starkes Signal: die korrekte Antwort des Experten. Dieses Signal ist off-policy, weit entfernt von dem, was das Modell eigenständig erzeugen würde, und es verschiebt die Gewichte so stark, dass frühere Fähigkeiten ausgelöscht werden.

On-Policy-Methoden wie RLVR und Self-Distillation bleiben nahe an der aktuellen Policy. Das Problem ist das umgekehrte: Wenn das Modell bei der Aufgabe von null startet, enthalten seine Rollouts wenig nützliches Signal. Ein Modell, das fast immer danebenliegt, erzeugt wenige Beispiele, aus denen es lernen kann.

ReDraft geht einen Mittelweg. Es zeigt dem Modell die Expertenantwort als Referenz, fordert es auf, seinen eigenen fehlerhaften Rollout zu überarbeiten, und behält die Überarbeitung nur dann, wenn ein Verifikator sie akzeptiert. Das Fine-Tuning findet auf dem statt, was den Filter übersteht.

Jedes beibehaltene Target ist damit explizit, weil korrekt, und zugleich nahe an der Policy, weil es aus dem Text des Modells selbst hervorgeht.

Der Vergleich mit OPSD und eine Mehrdeutigkeit im Abstract

Der Vergleich mit OPSD ist weniger geradlinig, als es scheint. Das Abstract nennt das Paar 19,3 Gewinn und 6,2 Verlust und erklärt, ReDraft verbessere sich auf beiden Achsen. Der Text lässt einen Zweifel offen: Beschreiben diese beiden Werte OPSD in absoluten Zahlen oder den Abstand zwischen den beiden Methoden.

In der ersten Lesart lernt OPSD wenig (19,3 Punkte gegenüber 56,9) und vergisst wenig (6,2 gegenüber 1,5). In der zweiten beträgt der Vorsprung zugunsten von ReDraft 19,3 Punkte mehr Gewinn und 6,2 Punkte weniger Verlust. Die 37 Seiten des Preprints enthalten die Tabellen, die den Zweifel ausräumen; das Abstract, isoliert betrachtet, lässt ihn bestehen.

In beiden Lesarten bleibt die Richtung dieselbe.

Die rein On-Policy-Methode bezahlt beim Lernen, was sie beim Forgetting einspart, und die durch eine Referenz geführte Überarbeitung überwindet den Kompromiss.

Was die Analysen im Daten- und im Parameterraum sagen

Die Autoren fügen zwei Analysen hinzu, die das Ergebnis weniger zufällig erscheinen lassen. Die erste liegt im Datenraum: Die überarbeiteten Targets erweisen sich unter dem Basismodell als wahrscheinlicher als die Expertenantworten. Ein wahrscheinlicheres Target erfordert eine geringere Verschiebung der Gewichte.

Die zweite liegt im Parameterraum. Die von ReDraft ausgelösten Updates bleiben kompakt und folgen der Richtung von SFT enger, als OPSD es tut. Die Methode lernt in derselben Richtung wie der Experte, mit kürzeren Schritten.

Es ist diese Kohärenz zwischen Design und Messung, die die These des Papers stützt.

Die Dichotomie zwischen Lernen und Bewahren erweist sich als Artefakt des Off-Policy-Targets und nicht als intrinsische Beschränkung der Optimierung.

Der Verifikator als verborgene Variable

Der Filter, der jede Überarbeitung akzeptiert oder verwirft, entscheidet darüber, welche Beispiele ins Training gelangen. In den drei Aufgaben des Papers ist die Verifikation mechanisch: eine Zählung, eine Uhrzeit, die Position der Teile. Die korrekte Antwort existiert und ist eindeutig.

Diese Eigenschaft macht den Überarbeitungszyklus kostengünstig und zuverlässig. Bei offenen Aufgaben, etwa einer Zusammenfassung oder einer Diagnose, geht die Rolle des Verifikators an einen Richter über, menschlich oder automatisch, und die Kosten des Filters steigen.

Das Abstract verschweigt den Anteil der akzeptierten Überarbeitungen. Diese Zahl misst, wie viel Inferenzarbeit pro nützlichem Beispiel nötig ist, und bleibt im Hauptteil des Papers nachzulesen.

Die erklärten Grenzen der Evidenz

Die Evidenz hat einen engen Rahmen, und das muss gesagt werden. Drei synthetische Aufgaben, zwei Größen eines einzigen Modells, ein automatischer Verifikator, der entscheidet, was ins Training gelangt. Objekte zählen, Uhren lesen und Puzzles zusammensetzen sind Aufgaben mit verifizierbarer Antwort; vielen Produktionsaufgaben fehlt diese Eigenschaft.

Die hier zitierten Zahlen stammen aus dem öffentlichen Abstract des Preprints. Die vollständige Lektüre der 37 Seiten, mit Protokollen, Varianzen und Ablationen, bleibt der notwendige Schritt vor jeder Verallgemeinerung.

Das Verhältnis von 11,3x gilt für diese Bedingungen. Wie weit es bei Aufgaben mit hoher Ausgangsgenauigkeit, bei größeren Modellen oder in Domänen ohne Verifikator trägt, bleibt eine eigene Dimension, die zum großen Teil noch zu messen ist.

Was sich für Budgetverantwortliche und Infrastrukturplaner ändert

Für diejenigen, die F&E-Budgets zuweisen, verschiebt der gemessene Befund eine Frage. Die Kosten des Forgetting im kontinuierlichen Post-Training hängen vom Abstand zwischen Target und aktueller Policy ab, mehr als von der Optimierungsmethode. Ausgaben zur Milderung des Forgetting durch Regularisierungstechniken behandeln ein Symptom, während die Wahl des Targets an der Ursache ansetzt.

Für diejenigen, die die Dateninfrastruktur planen, beschreibt das Paper drei Komponenten: ein Archiv mit Referenzantworten, einen Überarbeitungszyklus für fehlerhafte Rollouts, einen zuverlässigen Verifikator. Die dritte ist der Engpass. Die Methode trägt so weit, wie der Verifikator trägt.

Für einen Vorstand ist die durch die Daten gestützte These eng umrissen. Im multimodalen Continual Learning auf verifizierbaren Aufgaben übertrifft die Überarbeitung der eigenen Ausgabe das Ersetzen durch die Ausgabe des Experten, auf beiden gemessenen Achsen. Jenseits dieses Rahmens schweigt die Evidenz.