Calibration: il rischio di overconfidence nei modelli

La divergenza che il paper misura

Un lavoro accettato a ICDM 2026 mette a fuoco un problema di calibration nei sistemi di rilevamento delle anomalie sui log. Il titolo del paper è "Too Sure to Be Safe".

I detector basati su modelli linguistici raggiungono performance di detection elevate. Le loro stime di confidenza, invece, restano mal calibrate. Questa è la divergenza centrale.

Gli autori sono tre: Bin Li, Dongdong Wang e Siyang Lu. Il paper è stato depositato il 18 agosto 2026 e accettato alla IEEE International Conference on Data Mining 2026.

L'evidenza mostra una tensione tra due dimensioni che le organizzazioni tendono a confondere. La prima: quanto un modello è accurato. La seconda: quanto è affidabile la sua stima di certezza. Sono cose distinte, e questa distinzione porta conseguenze dirette. Un modello può classificare correttamente e sbagliare la stima della propria certezza. Le due proprietà si misurano con strumenti diversi. Confonderle significa leggere un dato di accuratezza come se fosse una garanzia di affidabilità operativa. Non lo è.

Perché la confidenza eccessiva conta

Il rilevamento online di anomalie sui log è critico per la reliability dei sistemi di calcolo su larga scala. Un allarme mancato degrada il servizio. Un falso allarme consuma risorse operative.

Il finding centrale del paper è preciso: i detector assegnano confidenza eccessiva a previsioni errate. Il fenomeno peggiora per i log anomali sotto forte squilibrio di classe.

Lo squilibrio di classe è la condizione normale in produzione. Le anomalie sono rare per definizione. Il modello vede pochi esempi positivi e molti negativi. Con pochi casi positivi da cui apprendere, la stima di confidenza sulla classe rara resta la più fragile. È proprio la classe che conta di più a essere misurata peggio.

Questa è la dinamica pericolosa. Un modello errato che si dichiara certo induce l'operatore a fidarsi dell'errore. La sicurezza diventa essa stessa il rischio. L'operatore non ha modo di distinguere una previsione certa e corretta da una previsione certa e sbagliata. Il segnale di confidenza, che dovrebbe filtrare gli errori, in questo scenario li nasconde.

L'anomalia statistica che le metriche ignorano

Ecco il punto che merita più attenzione di tutti. La confidenza sulle previsioni errate resta persistentemente alta anche quando le metriche di calibrazione convenzionali indicano buona calibrazione.

Questo crea un divario di affidabilità critico per i sistemi di monitoraggio operativo. La metrica dice "calibrato". Il comportamento reale sugli errori racconta un'altra storia.

The measurement gap in investment decisions vive esattamente qui. Le organizzazioni misurano la calibrazione con strumenti che mascherano il problema che dovrebbero rilevare.

L'anomalia statistica è questa: una metrica aggregata dichiara salute mentre gli errori ad alta confidenza si accumulano nella coda della distribuzione. Chi guarda la media perde la coda. Una metrica aggregata media il comportamento su tutte le previsioni. Gli errori sicuri di sé sono pochi in proporzione, ma è nella coda della distribuzione che si concentra il danno operativo. La media resta buona mentre la coda peggiora.

La metodologia: dove sta l'evidenza

Gli autori validano la tesi su quattro dataset di log su larga scala e su molteplici detector basati su modelli linguistici. Il campione copre benchmark riconosciuti nel dominio del log anomaly detection.

La soluzione proposta si chiama LoRD, sigla di Log Reconstruction and Distance. È un framework di calibration post-hoc, leggero per costruzione. Post-hoc significa che agisce dopo l'addestramento del detector, senza richiedere di ricostruirlo.

LoRD apprende modelli di affidabilità specifici per rotta di predizione. Li deriva dalle rappresentazioni latenti dei campioni di validazione classificati correttamente.

La stima dell'affidabilità passa attraverso le distanze di ricostruzione per rotta. Ogni percorso di decisione riceve una valutazione dedicata, invece di un giudizio globale uniforme.

Cosa fa LoRD in pratica

Il meccanismo è selettivo, e questo dettaglio conta. In base all'affidabilità stimata, LoRD ricalibra le previsioni ad alto rischio per sopprimere gli errori sicuri di sé.

Al tempo stesso preserva le previsioni affidabili. L'obiettivo è correggere l'overconfidence mantenendo intatta la performance di detection.

Questo equilibrio è la parte difficile. Ricalibrare in modo aggressivo abbatte l'overconfidence e degrada anche le previsioni buone. LoRD interviene in modo mirato sui casi ad alto rischio. La valutazione per rotta è ciò che rende possibile questa selettività: senza distinguere i percorsi di decisione, la correzione ricadrebbe indistintamente su tutte le previsioni.

Gli esperimenti mostrano un miglioramento costante dell'affidabilità della confidenza. La riduzione degli errori anomali sicuri di sé risulta sostanziale. La capacità di detection resta preservata.

La riformulazione: un problema di misurazione

Ridefinisco il finding come problema di misurazione, coerente con l'evidenza accumulata su questo desk. Il limite emerge dallo strumento di valutazione, prima che dal modello stesso.

Un benchmark misura performance in condizioni standardizzate. La sua validità predittiva per l'affidabilità in produzione resta una dimensione separata, in larga parte trascurata dalla misurazione.

The incentive to publish benchmark scores optimized for ranking ha prodotto una letteratura che misura ciò che è più facile misurare. La calibrazione affidabile appartiene a ciò che è difficile misurare.

Il paper aggiunge un livello ulteriore. Anche la metrica di calibrazione, quando applicata in modo aggregato, misura ciò che è comodo, mancando l'errore ad alta confidenza. Il problema non si risolve dunque cambiando modello. Si risolve cambiando ciò che si misura e come lo si misura.

Implicazioni per l'allocazione degli investimenti

Per il CRO, il CDO e l'Investment Committee la diagnosi è precisa. L'overconfidence si aggrava sotto squilibrio di classe, la condizione tipica dei dati di produzione.

Per il Chief Analytics Officer la questione è infrastrutturale. Un sistema di monitoraggio affidabile richiede una calibration post-hoc che stimi l'affidabilità per rotta, oltre all'accuratezza aggregata.

Per il Board la thesis tecnologica va rivista su un punto. La metrica di calibrazione dichiarata è una prova insufficiente di readiness produttiva.

L'evidenza qui documentata lo mostra su quattro benchmark e più detector. Vale un limite dichiarato: il perimetro è quello del log anomaly detection, non un enunciato generale su ogni classe di modello. Questa è diagnosi, offerta al lettore che decide dove allocare il budget R&D.

Il pattern che si ripete negli agenti multi-step

Questo finding si collega a un rischio più ampio: l'error compounding. Gli errori sicuri di sé si moltiplicano attraverso i cicli di deployment.

Un agente con 90% di accuratezza su cinque step consecutivi arriva al 59% sul task composto. La confidenza mal calibrata amplifica l'effetto. L'errore si propaga travestito da certezza. Se il passo a valle si fida della confidenza del passo a monte, l'errore certo entra nella catena senza filtro. La calibration affidabile è ciò che permette a un passo di scartare l'output incerto del precedente.

Not failure. Not rejection. A plateau. La calibration affidabile è la dimensione che separa un pilot pulito da un sistema che regge il volume, il rumore e i requisiti di governance.

L'evidenza mostra la direzione. La misura della certezza merita lo stesso rigore della misura dell'accuratezza. Le organizzazioni che confondono le due pagano il conto in produzione.