Haotian Qiao e Robert P. Dick hanno fatto leggere 20 datasheet hardware a un modello linguistico di grandi dimensioni in due modi diversi. La lettura a stadi raggiunge il 98,8% di fedeltà delle proprietà contro il 76,1% della lettura in un passaggio[1], secondo il paper depositato su arXiv l'8 ottobre 2026.
Secondo gli autori la lettura in un passaggio perde specifiche anche quando il documento entra per intero nel testo che il modello può leggere in una volta.
Venti datasheet e due modi di leggerli
Un datasheet è la scheda tecnica di un componente elettronico. Contiene le specifiche che servono a scegliere il pezzo e a verificare che funzioni con gli altri. Gli autori descrivono documenti lunghi e diversi tra loro, con dati sparsi tra tabelle, figure e testo.
Il campione conta 20 datasheet di componenti e lunghezze differenti. I numeri di questo articolo vengono dal riassunto pubblico del paper, che tace sul modello usato.
Entrambi i metodi producono un grafo di conoscenza che ordina le proprietà di ogni componente.
Tra 76,1% e 98,8% ci sono 22,7 punti di fedeltà
La fedeltà misura quante proprietà estratte corrispondono a ciò che il datasheet dice davvero.
Con la lettura in un passaggio il 76,1% delle proprietà è fedele al documento. Il restante 23,9% è stato giudicato infedele alla fonte.
Il secondo numero riguarda la copertura. Il grafo a stadi copre del tutto l'83,6% delle proprietà fedeli trovate dalla lettura in un passaggio. Nel verso opposto la lettura in un passaggio copre del tutto il 10,5% delle proprietà del grafo a stadi.
Le tre scelte di progetto a cui gli autori legano il risultato
Gli autori attribuiscono il risultato a tre scelte di progetto.
- Testo per domanda: la pipeline divide il documento in blocchi e riduce quanto il modello legge a ogni richiesta.
- Origine del dato: ogni proprietà resta legata al punto del datasheet da cui proviene.
- Modifiche al grafo: il modello scrive istruzioni che vengono controllate, poi un programma le esegue in modo deterministico sulla macchina locale.
Le proprietà vengono poi smistate in una gerarchia e riviste in più giri. Il riassunto presenta queste scelte insieme e tace sul peso di ciascuna.
Un lavoro del 2023 aveva già osservato un limite vicino. In Lost in the Middle[2] i modelli rispondevano meglio quando il dato utile stava all'inizio o alla fine di un testo lungo. Quello studio provava domande su più documenti e ricerche di coppie chiave-valore, quindi riguarda compiti diversi dai datasheet.
Le due quote che il metodo migliore lascia scoperte
Due quote restano fuori dal risultato migliore. L'1,2% delle proprietà del grafo a stadi è infedele al datasheet. Il 16,4% delle proprietà fedeli della lettura in un passaggio è coperto in parte o per niente dal grafo a stadi.
Il metodo a stadi copre quindi in modo incompleto alcune specifiche che la lettura in un passaggio aveva trovato.
La completezza è misurata tra due grafi
Gli autori chiamano la loro misura completezza tra grafi. Confronta quanto un grafo copre l'altro. Manca un elenco esaustivo delle specifiche vere di ogni datasheet, come dichiarano gli autori stessi.
L'83,6% dice quindi quanto il metodo a stadi supera l'altro. Quante specifiche del datasheet mancano a entrambi i grafi resta fuori dalla misura.
C'è poi la domanda su chi giudica la fedeltà. G-Eval[3], uno studio del 2023 su riassunti e dialoghi, usava un modello linguistico come giudice e trovava un accordo più alto con i giudizi umani rispetto alle metriche precedenti. Gli stessi autori segnalavano che un giudice di questo tipo può favorire i testi scritti da un modello.
Il riassunto di Qiao e Dick tace sul tipo di giudice usato per la fedeltà.
Quale tesi tecnologica reggono questi numeri
I dati sostengono una tesi precisa. Su 20 datasheet la lettura a stadi dà più proprietà fedeli e più copertura della lettura in un passaggio.
La tesi che un contesto più ampio basti a leggere bene un documento tecnico esce ridimensionata da questo campione.
Gli autori scrivono che il metodo riduce il rischio di vincoli trascurati nella progettazione. Il riassunto dà misure sui grafi e tace sugli errori di progetto evitati.
Un comitato investimenti può leggere il 98,8% come misura di fedeltà su 20 documenti di un dominio. La quota di specifiche assenti da entrambi i grafi è il dato che manca per parlare di completezza.
Questo articolo è stato redatto da un autore editoriale AI con supervisione umana, in conformità agli obblighi di trasparenza del Regolamento (UE) 2024/1689 (AI Act, Art. 50). Le fonti sono linkate nel testo.
Articolo di MIRA
Fonti
- arxiv.org 12 ott 2026
- Lost in the Middle (doi.org)
- G-Eval (doi.org)