Text-to-SQL: Modellbewertung erkennt nur 25 Prozent der korrekten Queries

Der gemessene Engpass sitzt im Prüfer

Am 17. September 2026 haben fünf Forschende auf arXiv eine Studie eingereicht, die das Text-to-SQL-Problem vom Query-Generator auf das Instrument verschiebt, das ihn bewertet.

Tarfah Alrashed, Fatma Ozcan, Per Jacobsson, Tal Neiman und Xianshun Chen haben untersucht, wie wir SQL-Queries messen, die mit AI-Operatoren angereichert sind. Die Belege des Papers^[1] zeigen, dass die Standardmetrik, die Execution Accuracy, nur 25% der gültigen Übersetzungen als korrekt erkennt.

Drei Viertel der korrekten Arbeit landen in der Fehlerspalte. Der Generator liefert; der Prüfer lehnt ab. Der Abstand zwischen diesen 25% und 100% ist der Raum, in dem das Problem lebt.

Warum eine deterministische Metrik an AI-Operatoren scheitert

Die Execution Accuracy vergleicht das Ergebnis der generierten Query mit dem Ergebnis der Referenz-Query. Identische Outputs zählen einen Punkt, abweichende Outputs null.

Diese Regel trägt, solange die Datenbank deterministisch antwortet.

AI-Operatoren innerhalb von SQL verändern das Spielfeld. Ein Operator, der einen Text klassifiziert, ein Feld zusammenfasst oder eine Entität extrahiert, erzeugt flexible und stochastische Outputs: Zwei korrekte Ausführungen derselben Query liefern unterschiedliche Strings zurück. Der exakte Vergleich liest diesen Unterschied als Fehler.

Die Autoren formalisieren diese Fehlermodi als Eigenschaften der Metrik und nicht als gelegentliches Rauschen. Die Unterscheidung wiegt schwer: Ein systematischer Defekt kehrt in jedem Benchmark-Zyklus wieder, mit demselben Vorzeichen.

Der LLM-Prüfer erbt denselben blinden Fleck

Die naheliegende Antwort besteht darin, den exakten Vergleich durch ein Modell zu ersetzen, das die Bedeutung bewertet. Das Paper vermisst auch diesen Weg.

Ein LLM-Autorater auf dem Stand der Technik weist 32% der korrekten Queries fälschlich zurück. Fast ein Drittel der korrekten Arbeit wird von einem automatischen Prüfer abgelehnt.

Die von den Autoren genannte Ursache liegt in der Komplexität der Aufgabe. Das Modell bewertet die relationale Logik und die AI-Komponente gemeinsam, zwei Dimensionen mit unterschiedlichen Wahrheitskriterien. Ein einziges Urteil über zwei Dimensionen verschlechtert die Qualität des Urteils.

Der Befund untermauert eine Position, die dieses Ressort bereits dokumentiert hat: Die automatische Bewertung bleibt ein Instrument mit systematischem Bias, weit entfernt von dem Schiedsrichter, den der Markt verkauft.

Das geschichtete Framework trennt Logik und Semantik

Der zentrale Beitrag der Arbeit ist ein Multilayered Evaluation Framework. Die Architektur trennt die deterministische Datenbanklogik von der flexiblen Semantik der AI-Operatoren.

Die Validierung läuft auf zwei getrennten Gleisen. Der relationale Teil wird nach den klassischen Kriterien der Ausführung geprüft; die AI-Operationen werden nach Kriterien beurteilt, die auf ihre Variabilität kalibriert sind. Beide Ergebnisse fließen anschließend in ein Gesamturteil ein.

Auf dieser Grundlage erreicht das Framework bis zu 97,2% Gesamtgenauigkeit. Der Sprung von 25% auf 97,2% beziffert, wie stark das Messinstrument ins Gewicht fiel – bei identischen generierten Queries.

Die vollständige Beschreibung der beiden Schichten steht im Volltext, lesbar auch auf alphaXiv^[2].

Zwei Plattformen, Industrie und Wissenschaft

Der Nachweis umfasst zwei Systeme mit unterschiedlicher Geschichte: BigQuery als industrielle Plattform und ThalamusDB als akademisches System. Diese Wahl beantwortet einen klassischen Einwand zur externen Validität.

Ein Bewertungsframework, das auf eine einzige Engine abgestimmt ist, misst womöglich nur die Konventionen dieser Engine. Zwei Plattformen mit unterschiedlichen Dialekten und Implementierungen legen die Latte höher. Das berichtete Ergebnis deckt beide ab.

Die Stichprobe bleibt dennoch auf zwei Systeme und eine Aufgabenfamilie beschränkt. Die Autoren benennen den Rahmen; die korrekte Lesart bleibt innerhalb dieses Rahmens.

Es lohnt sich, den Unterschied zwischen beiden Umgebungen zu betrachten. Eine industrielle Engine bringt Optimierungen, proprietäre Dialekte und Kostenrestriktionen mit, die ein Forschungssystem ignoriert, und ein Framework, das auf beiden trägt, hat zwei verschiedene technische Regime durchlaufen.

Was sich für die historischen Benchmarks ändert

Das Feld Text-to-SQL ist auf deterministischen Prüfungen aufgebaut. Spider, ein groß angelegter Datensatz mit menschlichen Annotationen für cross-domain semantisches Parsing, stammt aus dem Jahr 2018 (doi.org/10.18653/v1/D18-1425^[3]).

BIRD von 2023 hat die Prüfung auf sehr große Datenbanken verlagert und gefragt, inwieweit ein LLM bereits als Schnittstelle zur Datenbank funktionieren kann (doi.org/10.48550/arXiv.2305.03111^[4]). Beide setzen ein stabiles erwartetes Ergebnis voraus.

Mit AI-Operatoren fällt diese Voraussetzung weg. Ein Ranking, das aus einer Metrik entsteht, die drei Viertel der gültigen Übersetzungen durchfallen lässt, ordnet die Systeme nach einem verzerrten Kriterium. Die Rangliste bleibt als Maß für die Konformität mit dem erwarteten Format lesbar – weit entfernt von einem Maß für Korrektheit.

Die von den Autoren genannten Grenzen

Der ernsthafteste Einwand gegen die Arbeit betrifft die Breite des Nachweises. Die im öffentlichen Abstract verfügbaren Zahlen beschreiben zwei Plattformen und eine abgegrenzte Menge an Aufgaben.

Die 25% werden als beobachteter Minimalwert angegeben, die 97,2% als erreichte Obergrenze. Diese Extreme als allgemeine Durchschnittswerte zu lesen, geht über das hinaus, was die Autoren behaupten. Die strenge Lesart behandelt beide Zahlen als Grenzen des gemessenen Intervalls.

Offen bleibt zudem die Frage nach der prädiktiven Validität im Produktivbetrieb. Ein Framework, das unter kontrollierten Bedingungen besser bewertet, hat die Probe unter realer Last, mit unsauberen Daten und unter Governance-Anforderungen noch vor sich.

Diese Dimension bleibt vorerst weitgehend unvermessen.

Wohin sich die Budgetallokation verschiebt

Für ein Investitionskomitee verlagert der Befund eine Ausgabenposition. Das Budget für die Query-Generierung konkurriert nun mit dem Budget für die Bewertungsinfrastruktur.

Ein Text-to-SQL-System, das nach einem enttäuschenden Pilotprojekt eingemottet wurde, hat möglicherweise korrekte Queries produziert, die am falschen Maßstab gescheitert sind. Die Erkennungsrate von 25% macht diese Hypothese überprüfbar statt theoretisch. Die Aussortierten erneut zu prüfen, kostet weniger als ein neuer Zyklus der Lieferantenauswahl.

Für einen Chief Analytics Officer betrifft die operative Konsequenz die Nachvollziehbarkeit. Relationale Logik und AI-Operationen getrennt zu bewerten, erfordert Logs, die beide Komponenten mit ihrem jeweils eigenen Ergebnis festhalten.

Für das Board steht die These auf dem Prüfstand, die den Fortschritt im Text-to-SQL an Benchmark-Werte koppelt. Die am 17. September 2026 eingereichten Belege verorten einen erheblichen Teil des Zugewinns im Messinstrument statt im Modell.