Audit GenAI: perché il tasso di conformità cambia

Cosa è stato depositato, e quando

Il 14 agosto 2026, quattordici ricercatori hanno depositato su arXiv un lavoro dal titolo ASSERT. Il testo descrive una pipeline di misurazione per gli audit dei sistemi di intelligenza artificiale generativa.

Il documento affronta una domanda tecnica con conseguenze dirette per la governance. Come si produce un tasso di conformità affidabile durante la verifica di un modello generativo?

La risposta determina cosa un consiglio di amministrazione può dichiarare pubblicamente. Secondo il paper, questi controlli riassumono spesso il comportamento come un tasso riportato: la frequenza con cui il sistema rispetta la policy.

Il delta: dal numero singolo alla specifica scritta

Prima di ASSERT, un tasso riportato circolava come cifra autonoma. Ricercatori e stakeholder lo usavano per confrontare sistemi, tracciare regressioni e autorizzare il deployment. Nessuno di questi usi richiedeva che il metodo dietro il numero fosse esplicitato. La cifra bastava a sé stessa.

Il problema strutturale risulta preciso. Un tasso riflette due elementi insieme: il sistema esaminato e le scelte di misurazione dietro il numero. Questi due elementi restano fusi nella cifra. Chi legge il tasso non li distingue.

Quando la cifra cambia, resta ambiguo cosa si sia mosso davvero. È cambiato il sistema, oppure il metodo di misura? Senza una specifica documentata, la domanda non ha risposta. ASSERT lega ogni tasso riportato a una specifica scritta delle scelte adottate.

Questo delta ridefinisce la natura della prova. Un numero diventa verificabile quando la specifica che lo genera viene documentata per iscritto. La differenza è netta. Un tasso senza specifica descrive un risultato. Un tasso con specifica descrive un risultato e le condizioni che lo hanno prodotto.

Il meccanismo: perché il numero si muove

Il paper include un caso studio sulla conversational deception, la tendenza di un sistema a ingannare l'utente nel dialogo. I risultati sono espliciti.

Il tasso riportato si sposta in misura sostanziale al variare di quattro fattori di misurazione:

• l'impostazione del dialogo
• l'utente simulato
• il giudice che valuta l'output
• la soglia di prova richiesta per dichiarare una difformità

Queste scelte cambiano il tasso in modo rilevante. Riordinano perfino le classifiche tra sistemi diversi. Un sistema in testa con un certo metodo può scivolare in basso con un altro. Il ranking segue la specifica, non solo il modello.

La conseguenza appare netta. Due verifiche dello stesso modello producono numeri divergenti quando le scelte di misura differiscono. Il ranking che ne deriva diventa fragile. Un confronto tra fornitori basato su tassi ottenuti con metodi diversi non regge. La cifra più alta può riflettere un metodo più permissivo, non un sistema migliore.

Il segnale di governance

The governance signal: un tasso di conformità privo di specifica documentata resta un'affermazione, mai una prova.

Un board che approva il deployment sulla base di un numero isolato assume un rischio di attribuzione. La cifra potrebbe riflettere la robustezza del sistema oppure la generosità del metodo di misura. Il board non ha modo di distinguere i due casi a partire dal solo numero.

ASSERT converte questo rischio in una disciplina documentale. Ogni tasso viene ancorato a una rubrica comportamentale, a casi di test e a criteri di giudizio dichiarati. Ciascun elemento resta ispezionabile dopo la misurazione.

Per le funzioni di controllo, il valore risiede nella tracciabilità. Le differenze tra due esercizi diventano leggibili e attribuibili a scelte precise. Un revisore può risalire alla causa di uno scarto invece di registrarlo come dato inspiegato.

Chi è accountable

La domanda operativa resta la stessa che ATLAS pone su ogni framework. Quale ruolo nominato dell'organizzazione è responsabile della specifica di misurazione, per nome, per iscritto, prima del deployment?

Accountability priva di nome equivale a compliance theater. Una pipeline come ASSERT produce documentazione strutturata, eppure la governance reale nasce dall'assegnazione esplicita della responsabilità. Il documento fissa il metodo; la responsabilità del metodo resta una scelta organizzativa distinta.

Il General Counsel deve mappare la catena di custodia del numero. Chi ha scritto la rubrica, chi ha selezionato il giudice, chi ha fissato la soglia di prova. Ogni passaggio richiede un nome associato, non una funzione generica.

Il Chief Risk Officer aggiorna il proprio framework di rischio di conseguenza. Un tasso riportato entra nel registro dei rischi come dato condizionato, corredato dalla sua specifica. Il registro non ospita più una cifra nuda, ma una cifra e le sue condizioni di validità.

Cosa cambia per l'enterprise

Una postura di controllo calibrata sul tasso singolo risulta ora sovradimensionata rispetto al nuovo contesto metodologico. L'audit resta richiesto; il perimetro è cambiato.

Le organizzazioni che adottano audit specification-driven ottengono comparabilità nel tempo. Le regressioni diventano misurabili perché la base di misura rimane costante. Un calo del tasso segnala un cambiamento del sistema, non del metodo.

Chi confronta fornitori acquisisce un criterio più solido. Un ranking accompagnato dalla specifica sottostante resiste alla contestazione contrattuale. La controparte può verificare il metodo invece di contestare solo il risultato.

Questo sposta il baricentro della due diligence. La domanda passa dal valore del tasso alla qualità della specifica che lo ha generato. Un numero alto ottenuto con un metodo debole vale meno di un numero prudente ottenuto con un metodo rigoroso.

Tre decisioni per il board

Il consiglio traduce questa evidenza in scelte concrete. Ecco tre decisioni numerate per General Counsel, Chief Compliance Officer e Board Audit & Risk Committee.

1. Stabilire che ogni tasso di conformità presentato al board arrivi corredato dalla specifica di misurazione che lo ha prodotto.
2. Assegnare per iscritto il ruolo responsabile della rubrica, del giudice e della soglia di prova, prima di autorizzare il deployment.
3. Definire la disclosure verso stakeholder e regolatori in modo che il metodo di misura risulti verificabile, insieme al numero.

Queste scelte spostano l'esposizione legale. Un tasso documentato regge in sede di contestazione; una cifra isolata resta esposta alla domanda sul metodo.

Le organizzazioni che costruiscono questa disciplina adesso ottengono un vantaggio di diversi mesi. La compliance strutturata diventa un asset competitivo, oltre che un obbligo.

Regulatory horizon

Il lavoro ASSERT è un contributo di ricerca depositato su arXiv il 14 agosto 2026. Costituisce metodologia, e resta distinto da una norma vincolante. Nessun obbligo giuridico discende direttamente dal paper.

Il contesto regolatorio, intanto, converge verso la richiesta di audit tracciabili. L'EU AI Act impone obblighi di documentazione e valutazione per i sistemi ad alto rischio elencati nell'Annex III.

Le funzioni di governance possono allineare le proprie pratiche di misurazione a questa traiettoria adesso. Un metodo specification-driven risponde in anticipo alla domanda che l'enforcement porrà.

La questione di come produrre un tasso affidabile ha ricevuto una risposta operativa. Una seconda domanda si è aperta: quale ruolo nominato risponde della specifica. Per approfondimenti collegati, il nostro blog raccoglie le analisi di governance correlate.