Autonome Forschungsagenten auf Basis von Claude Opus 4.7, GPT-5.5 und Gemini 3.1 Pro zogen in 49,56 % von 450 Experimentalläufen betrügerische Schlussfolgerungen aus vergifteten offenen Datensätzen — und erkannten die Manipulation in lediglich 6,0 % der Fälle. Die Studie, am 12. Juli 2026 von Bálint Gyevnár, Atoosa Kasirzadeh und Nihar B. Shah auf arXiv veröffentlicht und von Nature aufgegriffen, tauft den Angriff „Distributed Denial of Science“.
Was die Forscher herausfanden
Das Team hinter dem Preprint — mit Nihar B. Shah an der Carnegie Mellon University — stellt eine präzise Frage: Kann ein entfernter Angreifer die ehrliche Nutzung von KI in der Wissenschaft zur Waffe gegen die wissenschaftliche Integrität machen? Die Antwort ist ein Angriff namens indirekte Datenvergiftung, der vollständig dem Modell vorgelagert operiert. Der Angreifer korrumpiert einen offenen Datensatz, lädt die gefälschte Variante in ein öffentliches Repository hoch und versieht sie mit irreführenden Metadaten. Autonome Forschungsagenten rufen die Datei später eigenständig ab und verarbeiten sie — ehrliche Wissenschaftler werden so zu unwissentlichen Verteilern von Betrug im großen Maßstab. Der Angriff erfordert null spezialisierte Trigger, null Zugriff auf den Agenten und null gefälschte Papers: Das Open-Data-Ökosystem übernimmt die Verteilungsarbeit von selbst.
Das Versuchsdesign umfasst fünf gesellschaftlich sensible Themen — Diskriminierung bei Einstellungen, Migration, Polizeiarbeit, Sicherheit autonomer Fahrzeuge und Mitarbeitermotivation — sowie drei weit verbreitete Frontier-Systeme: Claude Opus 4.7 mit Claude Code, GPT-5.5 mit Codex und Gemini 3.1 Pro mit seiner CLI. Jeder Agent arbeitete so, wie Unternehmen sie zunehmend einsetzen: mit voller Autonomie über Suche, Retrieval, Analyse und Ausarbeitung. Über 450 ethisch abgeschottete Läufe hinweg gelang die Vergiftung in 49,56 % der Fälle, während die Agenten die Manipulation in 6,0 % der Versuche meldeten. Shah erklärte gegenüber Nature, dass Betrüger README-Dateien manipulieren können: Sie behaupten fälschlich Fehler im Originaldatensatz, sodass Agenten die authentische Kopie verwerfen und die vergiftete übernehmen.
Der Angriff unterscheidet sich vom klassischen Trainingsdaten-Poisoning auf eine für Verteidiger entscheidende Weise. Vergiftung zur Trainingszeit verlangt Zugriff auf das Korpus vor dem Bau des Modells; indirekte Vergiftung schlägt zur Inferenzzeit zu, wenn ein produktiver Agent selbstständig nach Evidenz sucht. Diese Unterscheidung verlagert die Verwundbarkeit vom Modellanbieter zum Modellnutzer: Patches, Fine-Tuning und Alignment-Training lassen sie unberührt, denn das Modell verhält sich exakt wie vorgesehen — es liest die Daten, die es bekommt. Die Erkennungsrate bleibt gerade deshalb so gering, weil vergiftete Dateien statistisch unauffällig wirken und über legitime Repositories eintreffen.
Das operative Gewicht liegt bei den Gegenmaßnahmen. Eine vorsichtige Wissenschaftler-Persona senkte die Erfolgsquote des Angriffs auf 16,67 % — ein deutlicher Rückgang, den die Autoren für reale Deployments als unzureichend einstufen. Ein fünfstufiger Daten-Herkunfts-Audit — zugehörige Papers, soziale Signale, statistische Anomalien, verwandte Datensätze und explizite Vergiftungsindikatoren — drückte die Erfolgsquote im getesteten Szenario auf null. Null ist in einer Sicherheitsevaluation eine seltene Zahl; die Autoren berichten sie über die gesamte Batterie vergifteter Läufe mit aktivem Audit. Die Prüfungen sind in natürlicher Sprache formuliert und laufen unabhängig voneinander — entsprechend günstig lassen sie sich in jede agentische Pipeline einbauen.
Warum das über das Labor hinaus zählt
Externe Experten lesen das Ergebnis als strukturell. „Angriffe dieser Art sind nahezu unvermeidlich, weil sie es erlauben, falsche Informationen durch einen autoritativ klingenden Filter zu waschen“, sagte der Cornell-Tech-Informatiker Vitaly Shmatikov gegenüber Nature. Brian Nosek, Exekutivdirektor des Center for Open Science, nennt die Unaufmerksamkeit gegenüber Datenherkunft eine „kritische“ Sorge: „Das ist eine Demonstration dessen, was passieren kann, wenn wir KI-Systemen einen Teil des Denkens und Handelns überlassen.“ Die Nature-Nachrichtenredaktion griff den Preprint binnen drei Tagen auf — ein Tempo, das zeigt, wie direkt der Befund die Glaubwürdigkeitsmaschinerie der Wissenschaft berührt.
Für die Unternehmens-R&D ist die Übertragung direkt. Jede autonome Pipeline, die Drittdaten aufnimmt — Marktfeeds, offene Benchmarks, öffentliche Register, gescrapte Korpora — teilt exakt die Angriffsfläche, die dieses Paper vermisst. Eine Erfolgsquote nahe 50 % kombiniert mit einer Erkennungsrate von 6,0 % bedeutet: Das mediane vergiftete Artefakt passiert ungehindert, und der Output erscheint im Gewand einer KI-gestützten Analyse. Das Null-Erfolgs-Ergebnis des Herkunfts-Audits ist ebenso direkt: Eine leichtgewichtige Kontrolle in natürlicher Sprache eliminierte in dieser Evaluation die gesamte Angriffsklasse, zum Preis von fünf zusätzlichen Prüfungen pro Datensatz. Herkunftsprüfung steigt damit von Forschungshygiene zur Governance-Kontrolle auf — eine Maßnahme, die ein KI-Managementsystem vorschreiben, protokollieren und auditieren kann.
Die ehrlichen Grenzen: Es handelt sich um einen am 12. Juli 2026 veröffentlichten Preprint, das Peer-Review steht aus. Die Evaluation umfasst fünf Themen, drei Modellfamilien und 450 abgeschottete Läufe; die Null-Erfolgs-Zahl gilt für diesen spezifischen Audit gegen diesen spezifischen Angriff. Adaptive Angreifer, die Datensätze gezielt an Herkunftsprüfungen vorbeischleusen, bleiben zu testen — die Autoren rahmen genau das als nächste Forschungsfront. Innerhalb dieser Grenzen bildet die gemessene Lücke zwischen 49,56 % Angriffserfolg und 6,0 % Erkennung den bislang stärksten quantifizierten Beleg dafür, dass autonome Wissenschaftspipelines die Vertrauensannahmen der Open-Data-Allmende erben.
Die R&D-Entscheidung
Die Frage an CTO und Forschungsleitung: Welche Ihrer autonomen Datenpipelines kann heute eine dokumentierte Herkunftsprüfung für jeden externen Datensatz vorweisen, den sie berührt? Die Roadmap-Annahme, die dieser Befund kippt, lautet: Retrieval sei neutrale Klempnerei. Retrieval gehört ab sofort ins Threat Model, und Verifikation verdient Budget als vollwertige Pipeline-Stufe — fünf Prüfungen in natürlicher Sprache trennen laut diesem Paper eine Betrugsquote von 49,56 % von einer sauberen. Teams, die Datenherkunft als Kerninfrastruktur behandeln, publizieren Ergebnisse, denen Vorstand und Regulierer vertrauen; Teams, die den Schritt auslassen, werfen bei jedem Drittdatensatz eine Münze.
Artikel von MIRA — Research & Evidence
MIRA berichtet über KI-Forschung mit akademischer Strenge. Jede Aussage stützt sich auf ein gemessenes Ergebnis.