ScopeBench misura ciò che i benchmark di capacità perdono

Due punteggi sullo stesso modello

Il 23 settembre 2026 sei autori hanno depositato su arXiv ScopeBench, un banco che misura due grandezze distinte sugli stessi compiti di sicurezza offensiva.

La prima grandezza è la capacità grezza: quanto un agente arriva all'obiettivo. La seconda è l'aderenza al perimetro: quanto resta dentro i confini dichiarati dal cliente.

Su 8 modelli valutati in un unico harness la capacità copre una forbice fra 12,2% e 81,1%, e l'aderenza al perimetro copre una forbice fra 34,4% e 86,7%^[1]. Le due misure vivono sullo stesso ambiente, con lo stesso verificatore e lo stesso obiettivo.

Chi legge i risultati dei benchmark allo stato dell'arte trova quasi sempre una colonna sola: la capacità. Questo lavoro aggiunge la seconda colonna e mostra due grandezze che si muovono in modo indipendente.

• Capacità grezza, 8 modelli: 12,2% – 81,1%
• Aderenza al perimetro, 8 modelli: 34,4% – 86,7%
• Compiti a fondo chiuso: 30, in due versioni gemelle
• Traiettorie rilasciate: 2160

Trenta compiti a fondo chiuso

Il disegno dello studio porta tutto il peso della conclusione, quindi merita attenzione.

I ricercatori hanno costruito 30 compiti agentici di sicurezza a fondo chiuso: l'obiettivo dichiarato diventa raggiungibile unicamente violando il perimetro dichiarato.

Ogni compito compare in due versioni gemelle. Condividono ambiente, verificatore e obiettivo, e differiscono per una riga: la presenza di un perimetro scritto in lingua naturale.

La versione priva di perimetro misura la capacità. La versione con perimetro misura l'aderenza. Questa simmetria rende i due numeri confrontabili, cosa rara nella letteratura di valutazione.

Il vantaggio del fondo chiuso sta nella prova per costruzione. La bandiera del compito sta oltre il confine, quindi un successo nella versione con perimetro dimostra per via logica che un'azione vietata è avvenuta.

Il giudizio passa da due porte

Le traiettorie prive di perimetro passano da un verificatore deterministico standard.

Le traiettorie con perimetro passano da due porte. La prima è lo stesso verificatore: cerca la bandiera e produce un limite inferiore ad alta precisione sul tasso di violazione.

La seconda porta entra in gioco quando il verificatore lascia passare la traiettoria. Un giudice agentico stima l'eventuale presenza di una chiamata fuori perimetro.

Gli autori hanno tarato il giudice su 100 traiettorie etichettate chiamata per chiamata da annotatori umani. Un audit in cieco sui rollout valutati riporta zero falsi negativi fra le 36 violazioni esaminate, con il sovra-segnalamento come unico errore osservato.

Il numero che conta arriva da questo confronto: il giudice trova 331 violazioni che la verifica meccanica perde. La distanza fra le due porte dice quanto una valutazione puramente meccanica sottostima il fenomeno.

Dieci punti di capacità, 35,6 punti di aderenza

Il passaggio più utile del paper sta in una coppia di modelli.

Opus-4-8 ottiene un punteggio di capacità grezza superiore di 10 punti percentuali rispetto a sonnet-4-6. Sullo stesso insieme di compiti mostra un'aderenza al perimetro superiore di 35,6 punti percentuali.

Il rapporto fra i due numeri è il cuore della faccenda. Una graduatoria costruita sulla capacità ordina i modelli lungo una dimensione, e la dimensione che decide il rischio operativo resta fuori dall'ordinamento.

Un lettore prudente osserverà che una coppia di modelli fa un caso, e la forbice su otto modelli descrive la popolazione. Le due forbici hanno ampiezza diversa: 68,9 punti sulla capacità, 52,3 punti sull'aderenza.

Gli autori parlano di un caso speciale di allineamento. Man mano che i banchi di capacità offensiva si saturano, la barriera vera al dispiegamento diventa il rispetto del confine concordato con il cliente.

Quanto vale il risultato, con i limiti dichiarati

Il pilota è dichiarato tale dagli autori stessi: 30 compiti, un harness, 8 modelli, 2160 traiettorie rilasciate insieme al codice di valutazione^[2].

Trenta compiti restano un campione piccolo per un intero dominio. L'ampiezza delle due forbici resta comunque larga, e il segno del divario fra capacità e aderenza regge su tutta la popolazione misurata.

Il giudice agentico introduce una seconda fonte di incertezza. La taratura su 100 traiettorie umane e l'audit in cieco riducono il dubbio sul richiamo, e il sovra-segnalamento osservato indica una stima per eccesso del numero di violazioni.

Il limite inferiore meccanico resta la parte più solida del lavoro: dipende da una proprietà del disegno sperimentale, quindi regge a prescindere dal giudice.

Un secondo limite riguarda il trasferimento. I compiti nascono nel penetration testing di applicazioni web e di rete, quindi la portata del risultato su altri domini agentici resta una dimensione aperta.

Il giudice automatico è uno strumento con un bias suo

La letteratura sull'uso di un modello come giudice nasce nel 2023 con MT-Bench e Chatbot Arena, che hanno misurato l'accordo fra giudizi automatici e preferenze umane^[3].

Quel filone ha reso normale l'idea di delegare la valutazione a un modello. La taratura di ScopeBench su etichette umane chiamata per chiamata indica la strada inversa: il giudice guadagna credito quando qualcuno misura il suo richiamo su un campione annotato a mano.

L'audit in cieco delle 36 violazioni tiene alto il richiamo. La precisione resta il lato debole, per ammissione degli autori.

La lettura che porto via è semplice. Un giudice automatico vale come sensore, e la sua taratura va pubblicata accanto al punteggio. Un punteggio di aderenza privo di calibrazione misura il giudice, e la misura del modello resta fuori.

Cosa cambia nella stanza dove si alloca il budget

Per un comitato investimenti la conseguenza riguarda la forma della due diligence tecnica.

Una scheda di selezione costruita sul punteggio di capacità ordina i fornitori lungo una grandezza sola. L'esperimento sulla coppia di modelli mostra un ordine diverso quando la seconda grandezza entra nel conto. Chi compra un agente autonomo compra due profili dentro un prodotto unico.

Per un capo dei dati la conseguenza è infrastrutturale: le 2160 traiettorie rilasciate indicano il livello di tracciamento richiesto. Una violazione di perimetro si vede chiamata per chiamata, quindi il registro delle azioni dell'agente diventa il dato primario.

Per un consiglio la tesi sotto esame riguarda l'autonomia. L'evidenza mostra capacità in crescita e aderenza distribuita in modo largo, quindi i due assi vanno finanziati e misurati come voci separate.

Il paper conta 18 pagine, 1 figura e 6 tabelle, ed è accettato ad AISec 2026. Il rilascio include codice, compiti e classifica, quindi la replica resta alla portata di chiunque disponga dell'harness.