Unter 1 % Fake-Daten manipuliert generative Empfehlungssysteme

Zehn Forschende haben generative Empfehlungssysteme mit einem Angriff von außen auf die Probe gestellt. Ihr Paper auf arXiv, veröffentlicht am 10. Oktober 2026^[1], zeigt: Weniger als 1 % synthetische Interaktionen reichen aus, um ein vom Angreifer gewähltes Zielobjekt nach vorn zu bringen.

Im Testszenario kann der Angreifer einige wenige gefälschte Interaktionen einspeisen. Außerdem kann er die Empfehlungs-API als Black Box abfragen. Mit diesem Zugriff steigert AlignPoison die Erfolgsquote des Angriffs um bis zu 16,3 Prozentpunkte gegenüber den stärksten Vergleichsmethoden.

Zehn Autoren, Tests auf unimodalen und multimodalen Daten

Die untersuchten Systeme bauen eine Empfehlung Element für Element auf. Das Verfahren heißt autoregressives Decoding und ist dasselbe, mit dem große Sprachmodelle arbeiten.

Das Paper beschreibt diesen Ansatz als Alternative zum klassischen Ranking, die bereits im Einsatz ist.

Die Experimente decken unimodale und multimodale Benchmarks ab. Die Arbeit umfasst einschließlich Anhängen 23 Seiten und 10 Abbildungen. Den Eintrag zum Paper gibt es auch auf alphaXiv^[2].

Namen und Umfang der Datensätze nennt das öffentliche Abstract nicht.

Unter 1 % gewinnt das Zielobjekt an Gewicht

Die Schwelle bezieht sich auf den Anteil gefälschter Interaktionen an allen Daten. Schon unterhalb dieses Anteils steigt die Wahrscheinlichkeit deutlich, dass das Zielobjekt empfohlen wird. Das geschieht, sobald der vom Angreifer gewählte Trigger auftaucht.

Die 16,3 Prozentpunkte sind der höchste berichtete Zugewinn.

Den Durchschnittswert über die verschiedenen Benchmarks muss man in den Tabellen des Papers nachlesen. Das Abstract nennt nur den Spitzenwert. Wie stark die Ergebnisse streuen, verrät es nicht.

Drei Eigenschaften machen ein Präfix wirksam

Die Autoren betrachten die gefälschten Interaktionen unter zwei Gesichtspunkten. Erstens geht es darum, wie gut sie zum Decoding des Modells passen. Zweitens geht es um die Popularität des Präfixes, also des Anfangsstücks der Interaktionssequenz.

• Alignment: Das Präfix folgt den Übergängen, die das Modell selbst bevorzugt erzeugt.
• Popularität: Das Präfix kommt in den vom Modell generierten Sequenzen häufig vor.
• Trigger-Bindung: Das Präfix ist eng an einen häufigen Trigger gekoppelt.

Nach Beobachtung der Autoren verstärken kurze Präfixe mit diesen Eigenschaften die Bevorzugung des Zielobjekts durchgängig.

Auf die Form der Sequenz kommt es an, nicht auf die Menge

AlignPoison findet diese Präfixe, indem es die Antworten der API auswertet. Aus ihnen sampelt die Methode dann die gefälschten Interaktionen.

Sie arbeitet also mit genau den Daten, die das System jedem beliebigen Kunden ausliefert.

Der Vergleich mit den Baselines erfolgt bei identischem externem Zugriff. Der Vorsprung entsteht allein durch die Wahl der richtigen Sequenz, die zur Generierungslogik des Modells passt.

Genauigkeit misst etwas anderes

Die Flexibilität dieser Modelle ist gründlich erforscht. Wie robust sie gegen Data Poisoning sind, blieb dagegen weitgehend unerforscht, schreiben die Autoren.

Ein Genauigkeits-Benchmark misst, wie gut das System den Geschmack der Nutzer unter sauberen Bedingungen trifft. Dieses Paper misst, wie wenig ein Außenstehender braucht, um diese Empfehlungen zu steuern. Beim zweiten Test knickt das generative System schon bei weniger als 1 % gefälschten Daten ein.

Ein hoher Wert im ersten Test sagt wenig über den zweiten aus.

Eine zweite Spalte in der Rechnung für generative Modelle

Für ein Investmentkomitee bringt das Paper eine zusätzliche Variable in die Entscheidung zwischen klassischem Ranking und generativem Modell. Gemessen wurde sie mit dem Zugriff, den jeder gewöhnliche API-Nutzer hat.

Für die Verantwortlichen der Dateninfrastruktur geht es um die eingehenden Interaktionen. Das Paper misst den Angriff, zu Abwehrmaßnahmen schweigt das Abstract.

Im Vorstand stützt sich die These, das generative Modell sei die überlegene Wahl, heute auf Kennzahlen zu Genauigkeit und Flexibilität. Die Resilienz gegen Data Poisoning ist eine zweite Spalte in dieser Rechnung. Die vorliegende Arbeit füllt sie mit einem ungünstigen Wert.

Die Ergebnisse stammen aus akademischen Benchmarks. Wie sich die Systeme auf einer Plattform im Produktivbetrieb verhalten, muss erst noch gemessen werden.