GenAI-Audits: Warum sich die Compliance-Rate verschiebt

Was eingereicht wurde, und wann

Am 14. August 2026 haben vierzehn Forscher auf arXiv ein Paper mit dem Titel ASSERT eingereicht. Der Text beschreibt eine Messpipeline für Audits generativer Systeme künstlicher Intelligenz.

Das Dokument behandelt eine technische Frage mit unmittelbaren Folgen für die Governance. Wie erzeugt man eine verlässliche Compliance-Rate bei der Prüfung eines generativen Modells?

Die Antwort bestimmt, was ein Vorstand öffentlich erklären kann. Laut dem Paper fassen diese Prüfungen das Verhalten oft als berichtete Rate zusammen: die Häufigkeit, mit der das System die Policy einhält.

Das Delta: von der Einzelzahl zur schriftlichen Spezifikation

Vor ASSERT zirkulierte eine berichtete Rate als eigenständige Zahl. Forscher und Stakeholder nutzten sie, um Systeme zu vergleichen, Regressionen zu verfolgen und Deployments zu genehmigen. Keine dieser Verwendungen verlangte, dass die Methode hinter der Zahl offengelegt wurde. Die Zahl genügte sich selbst.

Das strukturelle Problem ist präzise. Eine Rate spiegelt zwei Elemente zugleich wider: das geprüfte System und die Messentscheidungen hinter der Zahl. Diese beiden Elemente bleiben in der Zahl verschmolzen. Wer die Rate liest, unterscheidet sie nicht.

Wenn sich die Zahl ändert, bleibt unklar, was sich tatsächlich bewegt hat. Hat sich das System verändert oder die Messmethode? Ohne dokumentierte Spezifikation hat die Frage keine Antwort. ASSERT verknüpft jede berichtete Rate mit einer schriftlichen Spezifikation der getroffenen Entscheidungen.

Dieses Delta definiert die Natur des Beweises neu. Eine Zahl wird überprüfbar, wenn die Spezifikation, die sie erzeugt, schriftlich dokumentiert wird. Der Unterschied ist deutlich. Eine Rate ohne Spezifikation beschreibt ein Ergebnis. Eine Rate mit Spezifikation beschreibt ein Ergebnis und die Bedingungen, die es hervorgebracht haben.

Der Mechanismus: warum sich die Zahl bewegt

Das Paper enthält eine Fallstudie zu Conversational Deception, der Tendenz eines Systems, den Nutzer im Dialog zu täuschen. Die Ergebnisse sind explizit.

Die berichtete Rate verschiebt sich erheblich, je nach Variation von vier Messfaktoren:

• der Dialogaufbau
• der simulierte Nutzer
• der Judge, der die Ausgabe bewertet
• die Beweisschwelle, die zur Feststellung einer Nichtkonformität erforderlich ist

Diese Entscheidungen verändern die Rate erheblich. Sie ordnen sogar die Rangfolge zwischen unterschiedlichen Systemen neu. Ein System, das mit einer Methode führt, kann mit einer anderen nach unten rutschen. Das Ranking folgt der Spezifikation, nicht nur dem Modell.

Die Folge ist eindeutig. Zwei Prüfungen desselben Modells liefern abweichende Zahlen, wenn sich die Messentscheidungen unterscheiden. Das daraus resultierende Ranking wird fragil. Ein Anbietervergleich auf Basis von Raten, die mit unterschiedlichen Methoden gewonnen wurden, hält nicht stand. Die höhere Zahl kann eine großzügigere Methode widerspiegeln, nicht ein besseres System.

Das Governance-Signal

Das Governance-Signal: Eine Compliance-Rate ohne dokumentierte Spezifikation bleibt eine Behauptung, nie ein Beweis.

Ein Vorstand, der ein Deployment auf Basis einer isolierten Zahl genehmigt, geht ein Zurechnungsrisiko ein. Die Zahl könnte die Robustheit des Systems oder die Großzügigkeit der Messmethode widerspiegeln. Der Vorstand kann die beiden Fälle allein anhand der Zahl nicht unterscheiden.

ASSERT wandelt dieses Risiko in eine dokumentarische Disziplin um. Jede Rate ist an eine Verhaltensrubrik, an Testfälle und an erklärte Bewertungskriterien gebunden. Jedes Element bleibt nach der Messung überprüfbar.

Für Kontrollfunktionen liegt der Wert in der Nachverfolgbarkeit. Unterschiede zwischen zwei Prüfungen werden lesbar und lassen sich präzisen Entscheidungen zuordnen. Ein Prüfer kann die Ursache einer Abweichung zurückverfolgen, statt sie als unerklärtes Datum zu verbuchen.

Wer ist rechenschaftspflichtig

Die operative Frage bleibt dieselbe, die ATLAS zu jedem Framework stellt. Welche benannte Rolle in der Organisation ist für die Messspezifikation verantwortlich – namentlich, schriftlich, vor dem Deployment?

Rechenschaftspflicht ohne Namen ist Compliance-Theater. Eine Pipeline wie ASSERT erzeugt strukturierte Dokumentation, doch echte Governance entsteht aus der ausdrücklichen Zuweisung von Verantwortung. Das Dokument legt die Methode fest; die Verantwortung für die Methode bleibt eine gesonderte organisatorische Entscheidung.

Der General Counsel muss die Chain of Custody der Zahl abbilden. Wer hat die Rubrik geschrieben, wer den Judge ausgewählt, wer die Beweisschwelle festgelegt. Jeder Schritt erfordert einen zugeordneten Namen, keine generische Funktion.

Der Chief Risk Officer aktualisiert sein Risiko-Framework entsprechend. Eine berichtete Rate tritt als bedingtes Datum in das Risikoregister ein, begleitet von ihrer Spezifikation. Das Register beherbergt nicht länger eine nackte Zahl, sondern eine Zahl und ihre Gültigkeitsbedingungen.

Was sich für das Unternehmen ändert

Eine auf die Einzelzahl kalibrierte Kontrollhaltung ist gegenüber dem neuen methodischen Kontext nun überdimensioniert. Das Audit bleibt erforderlich; der Rahmen hat sich verändert.

Organisationen, die spezifikationsgetriebene Audits einführen, gewinnen Vergleichbarkeit über die Zeit. Regressionen werden messbar, weil die Messbasis konstant bleibt. Ein Rückgang der Rate signalisiert eine Änderung des Systems, nicht der Methode.

Wer Anbieter vergleicht, gewinnt ein solideres Kriterium. Ein Ranking, das von der zugrunde liegenden Spezifikation begleitet wird, hält der vertraglichen Anfechtung stand. Die Gegenpartei kann die Methode überprüfen, statt nur das Ergebnis zu bestreiten.

Das verschiebt den Schwerpunkt der Due Diligence. Die Frage verlagert sich vom Wert der Rate auf die Qualität der Spezifikation, die sie erzeugt hat. Eine hohe Zahl mit schwacher Methode ist weniger wert als eine vorsichtige Zahl mit rigoroser Methode.

Drei Entscheidungen für den Vorstand

Der Vorstand übersetzt diese Evidenz in konkrete Entscheidungen. Hier drei nummerierte Entscheidungen für General Counsel, Chief Compliance Officer und das Board Audit & Risk Committee.

1. Festlegen, dass jede dem Vorstand vorgelegte Compliance-Rate von der Messspezifikation begleitet wird, die sie erzeugt hat.
2. Schriftlich die Rolle zuweisen, die für Rubrik, Judge und Beweisschwelle verantwortlich ist, bevor ein Deployment genehmigt wird.
3. Die Offenlegung gegenüber Stakeholdern und Regulierungsbehörden so definieren, dass die Messmethode überprüfbar ist, zusammen mit der Zahl.

Diese Entscheidungen verschieben das rechtliche Risiko. Eine dokumentierte Rate hält der Anfechtung stand; eine isolierte Zahl bleibt der Frage nach der Methode ausgesetzt.

Organisationen, die diese Disziplin jetzt aufbauen, gewinnen einen Vorsprung von mehreren Monaten. Strukturierte Compliance wird zu einem Wettbewerbsvorteil, nicht nur zu einer Pflicht.

Regulatory horizon

Die ASSERT-Arbeit ist ein am 14. August 2026 auf arXiv eingereichter Forschungsbeitrag. Sie stellt eine Methodik dar und bleibt von einer verbindlichen Norm getrennt. Aus dem Paper ergibt sich keine unmittelbare rechtliche Verpflichtung.

Der regulatorische Kontext konvergiert jedoch hin zur Forderung nach nachverfolgbaren Audits. Der EU AI Act legt Dokumentations- und Bewertungspflichten für die in Anhang III aufgeführten Hochrisikosysteme fest.

Governance-Funktionen können ihre Messpraktiken schon jetzt an dieser Entwicklung ausrichten. Eine spezifikationsgetriebene Methode beantwortet im Voraus die Frage, die die Durchsetzung stellen wird.

Die Frage, wie sich eine verlässliche Rate erzeugen lässt, hat eine operative Antwort erhalten. Eine zweite Frage hat sich eröffnet: Welche benannte Rolle verantwortet die Spezifikation. Für weiterführende Einblicke sammelt unser Blog die zugehörigen Governance-Analysen.