LLM übersehen Hardware-Spezifikationen trotz vollständigem Text

Haotian Qiao und Robert P. Dick haben 20 Hardware-Datenblätter auf zwei verschiedene Arten von einem großen Sprachmodell lesen lassen. Das mehrstufige Lesen erreicht 98,8 % Eigenschaftstreue gegenüber 76,1 % beim Lesen in einem Durchgang^[1], so das am 8. Oktober 2026 auf arXiv eingereichte Paper.

Den Autoren zufolge gehen beim Lesen in einem Durchgang Spezifikationen auch dann verloren, wenn das Dokument vollständig in den Text passt, den das Modell auf einmal lesen kann.

Zwanzig Datenblätter und zwei Arten, sie zu lesen

Ein Datenblatt ist das technische Merkblatt eines elektronischen Bauteils. Es enthält die Spezifikationen, die man braucht, um das Teil auszuwählen und zu prüfen, ob es mit den anderen zusammenarbeitet. Die Autoren beschreiben lange und untereinander sehr unterschiedliche Dokumente, deren Daten über Tabellen, Abbildungen und Text verstreut sind.

Die Stichprobe umfasst 20 Datenblätter zu unterschiedlichen Bauteilen und von unterschiedlicher Länge. Die Zahlen in diesem Artikel stammen aus der öffentlichen Zusammenfassung des Papers, die zum verwendeten Modell schweigt.

Beide Methoden erzeugen einen Wissensgraphen, der die Eigenschaften jedes Bauteils ordnet.

Zwischen 76,1 % und 98,8 % liegen 22,7 Punkte Quellentreue

Die Treue misst, wie viele der extrahierten Eigenschaften dem entsprechen, was das Datenblatt tatsächlich aussagt.

Beim Lesen in einem Durchgang sind 76,1 % der Eigenschaften dem Dokument treu. Die übrigen 23,9 % wurden als nicht quellentreu bewertet.

Die zweite Zahl betrifft die Abdeckung. Der mehrstufige Graph deckt 83,6 % der quellentreuen Eigenschaften, die das Lesen in einem Durchgang gefunden hat, vollständig ab. In umgekehrter Richtung deckt das Lesen in einem Durchgang 10,5 % der Eigenschaften des mehrstufigen Graphen vollständig ab.

Die drei Designentscheidungen, auf die die Autoren das Ergebnis zurückführen

Die Autoren führen das Ergebnis auf drei Designentscheidungen zurück.

• Text pro Anfrage: Die Pipeline teilt das Dokument in Blöcke und verringert, wie viel das Modell bei jeder Anfrage liest.
• Herkunft der Angabe: Jede Eigenschaft bleibt mit der Stelle des Datenblatts verknüpft, von der sie stammt.
• Änderungen am Graphen: Das Modell schreibt Anweisungen, die geprüft werden, anschließend führt ein Programm sie deterministisch auf dem lokalen Rechner aus.

Die Eigenschaften werden danach in eine Hierarchie einsortiert und in mehreren Runden überarbeitet. Die Zusammenfassung stellt diese Entscheidungen gemeinsam dar und schweigt zum Gewicht jeder einzelnen.

Eine Arbeit aus dem Jahr 2023 hatte bereits eine verwandte Grenze beobachtet. In Lost in the Middle^[2] antworteten die Modelle besser, wenn die relevante Angabe am Anfang oder am Ende eines langen Textes stand. Jene Studie testete Fragen über mehrere Dokumente hinweg und die Suche nach Schlüssel-Wert-Paaren, sie betrifft also andere Aufgaben als Datenblätter.

Die zwei Anteile, die die bessere Methode offen lässt

Zwei Anteile bleiben beim besseren Ergebnis außen vor. 1,2 % der Eigenschaften des mehrstufigen Graphen sind dem Datenblatt nicht treu. 16,4 % der quellentreuen Eigenschaften des Lesens in einem Durchgang werden vom mehrstufigen Graphen nur teilweise oder gar nicht abgedeckt.

Die mehrstufige Methode deckt also einige Spezifikationen, die das Lesen in einem Durchgang gefunden hatte, nur unvollständig ab.

Die Vollständigkeit wird zwischen zwei Graphen gemessen

Die Autoren nennen ihr Maß Vollständigkeit zwischen Graphen. Es vergleicht, wie weit ein Graph den anderen abdeckt. Eine erschöpfende Liste der tatsächlichen Spezifikationen jedes Datenblatts fehlt, wie die Autoren selbst erklären.

Die 83,6 % sagen also, wie weit die mehrstufige Methode die andere übertrifft. Wie viele Spezifikationen des Datenblatts in beiden Graphen fehlen, bleibt außerhalb der Messung.

Hinzu kommt die Frage, wer die Treue beurteilt. G-Eval^[3], eine Studie von 2023 zu Zusammenfassungen und Dialogen, setzte ein Sprachmodell als Bewerter ein und fand eine höhere Übereinstimmung mit menschlichen Urteilen als bei früheren Metriken. Dieselben Autoren wiesen darauf hin, dass ein solcher Bewerter von einem Modell verfasste Texte bevorzugen kann.

Die Zusammenfassung von Qiao und Dick schweigt dazu, welche Art von Bewerter für die Treue eingesetzt wurde.

Welche technologische These diese Zahlen tragen

Die Daten stützen eine präzise These. Bei 20 Datenblättern liefert das mehrstufige Lesen mehr quellentreue Eigenschaften und mehr Abdeckung als das Lesen in einem Durchgang.

Die These, ein größerer Kontext genüge, um ein technisches Dokument gut zu lesen, wird durch diese Stichprobe relativiert.

Die Autoren schreiben, die Methode verringere das Risiko übersehener Randbedingungen in der Entwicklung. Die Zusammenfassung liefert Messwerte zu den Graphen und schweigt zu vermiedenen Entwurfsfehlern.

Ein Investitionsausschuss kann die 98,8 % als Maß für die Treue bei 20 Dokumenten eines Fachgebiets lesen. Der Anteil der Spezifikationen, die in beiden Graphen fehlen, ist die Angabe, die fehlt, um von Vollständigkeit zu sprechen.