Text-to-SQL: la valutazione dei modelli boccia il 25%

Il collo di bottiglia misurato sta nel giudice

Il 17 settembre 2026 cinque ricercatori hanno depositato su arXiv uno studio che sposta il problema del Text-to-SQL dal generatore di query allo strumento che lo giudica.

Tarfah Alrashed, Fatma Ozcan, Per Jacobsson, Tal Neiman e Xianshun Chen hanno esaminato il modo in cui misuriamo le query SQL arricchite con operatori AI. L'evidenza del paper^[1] mostra che la metrica standard, l'Execution Accuracy, riconosce come corrette appena il 25% delle traduzioni valide.

Tre quarti del lavoro corretto finisce nella colonna degli errori. Il generatore produce; il giudice boccia. La distanza fra quel 25% e il 100% è lo spazio in cui vive il problema.

Perché una metrica deterministica cede sugli operatori AI

L'Execution Accuracy confronta il risultato della query generata con il risultato della query di riferimento. Output identici valgono un punto, output diversi valgono zero.

La regola regge finché il database risponde in modo deterministico.

Gli operatori AI dentro SQL cambiano il terreno di gioco. Un operatore che classifica un testo, riassume un campo o estrae un'entità genera output flessibili e stocastici: due esecuzioni corrette della stessa query restituiscono stringhe diverse. Il confronto esatto legge quella differenza come errore.

Gli autori formalizzano questi modi di fallimento come proprietà della metrica, invece che come rumore occasionale. La distinzione pesa: un difetto sistematico si ripresenta a ogni ciclo di benchmark, con lo stesso segno.

Il giudice LLM eredita lo stesso punto cieco

La risposta naturale consiste nel sostituire il confronto esatto con un modello che valuta il significato. Il paper misura anche questa strada.

Un autorater LLM allo stato dell'arte rigetta per errore il 32% delle query accurate. Quasi un terzo del lavoro corretto viene respinto da un giudice automatico.

La causa dichiarata dagli autori sta nella complessità del compito. Il modello valuta insieme la logica relazionale e la componente AI, due dimensioni con criteri di verità diversi. Un verdetto unico su due dimensioni degrada la qualità del verdetto.

Il dato rafforza una posizione già documentata da questo desk: la valutazione automatica resta uno strumento con bias sistematico, distante dall'arbitro che il mercato vende.

Il framework a strati separa logica e semantica

Il contributo centrale del lavoro è un Multilayered Evaluation Framework. L'architettura scinde la logica deterministica del database dalla semantica flessibile degli operatori AI.

La validazione procede su due binari distinti. La parte relazionale viene verificata con i criteri classici dell'esecuzione; le operazioni AI vengono giudicate con criteri calibrati sulla loro variabilità. I due esiti confluiscono poi in un giudizio complessivo.

Su questa base il framework arriva fino al 97,2% di accuratezza complessiva. Il salto dal 25% al 97,2% quantifica quanto pesava lo strumento di misura, a parità di query generate.

La descrizione completa dei due strati sta nel testo integrale, leggibile anche su alphaXiv^[2].

Due piattaforme, industria e accademia

La prova copre due sistemi con storie diverse: BigQuery, piattaforma industriale, e ThalamusDB, sistema accademico. La scelta risponde a un'obiezione classica sulla validità esterna.

Un framework di valutazione tarato su un singolo motore rischia di misurare le convenzioni di quel motore. Due piattaforme con dialetti e implementazioni diverse alzano l'asticella della prova. Il risultato dichiarato copre entrambe.

Il campione resta comunque circoscritto a due sistemi e a una famiglia di compiti. Gli autori dichiarano il perimetro; la lettura corretta si ferma dentro quel perimetro.

Vale la pena osservare quale differenza separa i due ambienti. Un motore industriale porta ottimizzazioni, dialetti proprietari e vincoli di costo che un sistema di ricerca ignora, e un framework che regge su entrambi ha attraversato due regimi tecnici distinti.

Cosa cambia per i benchmark storici

Il campo del Text-to-SQL si è costruito su prove deterministiche. Spider, dataset su larga scala con etichette umane per il parsing semantico cross-domain, risale al 2018 (doi.org/10.18653/v1/D18-1425^[3]).

BIRD, del 2023, ha spostato la prova su database di grandi dimensioni, chiedendo quanto un LLM possa già funzionare da interfaccia verso il database (doi.org/10.48550/arXiv.2305.03111^[4]). Entrambi presuppongono un risultato atteso stabile.

Con gli operatori AI quel presupposto cade. Una classifica prodotta da una metrica che boccia tre quarti delle traduzioni valide ordina i sistemi secondo un criterio distorto. Il ranking resta leggibile come misura di conformità al formato atteso, distante da una misura di correttezza.

I limiti dichiarati dagli autori

L'obiezione più seria al lavoro riguarda l'ampiezza della prova. I numeri disponibili nell'abstract pubblico descrivono due piattaforme e un insieme delimitato di compiti.

Il 25% viene indicato come valore minimo osservato, il 97,2% come tetto raggiunto. Leggere questi estremi come medie generali oltrepassa quello che gli autori affermano. La lettura rigorosa tiene i due numeri come confini dell'intervallo misurato.

Resta poi aperta la domanda sulla validità predittiva in produzione. Un framework che valuta meglio in condizioni controllate ha ancora davanti la prova del carico reale, dei dati sporchi e della governance.

Questa dimensione rimane, per ora, largamente fuori misura.

Dove si sposta l'allocazione del budget

Per un comitato investimenti il finding riorienta una voce di spesa. Il budget per la generazione di query compete adesso con il budget per l'infrastruttura di valutazione.

Un sistema Text-to-SQL accantonato dopo un pilot deludente potrebbe aver prodotto query corrette respinte dal metro sbagliato. Il tasso di riconoscimento del 25% rende quell'ipotesi verificabile, invece che teorica. Riesaminare gli scarti costa meno di un nuovo ciclo di selezione dei fornitori.

Per un Chief Analytics Officer la conseguenza operativa riguarda la tracciabilità. Valutare separatamente logica relazionale e operazioni AI richiede log che conservino entrambe le componenti, con il loro esito distinto.

Per il board la tesi da rivedere lega il progresso del Text-to-SQL ai punteggi di benchmark. L'evidenza depositata il 17 settembre 2026 colloca una parte consistente del guadagno dentro lo strumento di misura, invece che dentro il modello.