Ausführbare KI-Labore: Die Studie, die den Maßstab verschiebt

Die Studie: Was sie berichtet und was sie wirklich misst

Die Gruppe um Jinge Wu und David A. Clifton hat LabFactory am 23. September 2026 auf arXiv eingereicht, in der Kategorie Machine Learning. Das Abstract berichtet ein vollständiges Ergebnis: Die ausgelieferten Labore haben die konfigurierten Referenzwerte in allen 33 Subtests unter host-seitiger Ausführung^[1] übertroffen.

Diese 33 von 33 sind die Zahl, die zirkuliert, und sie ist die am wenigsten aussagekräftige der ganzen Arbeit.

Der messbare Beitrag liegt im Protokoll. Der Gegenstand der Bewertung wechselt vom Bericht, den der Agent über die eigenen Fortschritte abgibt, zum ausgelieferten Artefakt. Ein separater Host führt es auf Held-out-Eingaben aus, wobei die Reference Labels außerhalb der Eingabeschnittstelle des Solvers gehalten werden, und vergibt die Punktzahl nach dem Protokoll der jeweiligen Aufgabe.

Das Abstract benennt auch die Natur der Stichprobe: 28 ausgewählte Konstruktionen. Die Auswahl ist eine methodische Angabe und muss neben dem Ergebnis gelesen werden.

Der Mechanismus: Builder, verbrauchsbasierter Workspace, separater Host

Eine wissenschaftliche Aufgabe benennt eine gewünschte Fähigkeit. Sie zu erreichen verlangt den Bau eines maßgeschneiderten Rechensystems: Daten, Repräsentationen, Modelltraining, Werkzeuge und Entscheidungen darüber, wie sie in der Inferenz eingesetzt werden.

Im Framework erhält ein Builder-Agent ein Briefing und entwickelt das Labor innerhalb eines verbrauchsbasierten Workspace. Er liefert einen aufgabenspezifischen Solver aus, der Modelle, Wissensressourcen, Tools und einen Controller hinter einer festen Schnittstelle zusammenhält. Die Auslieferung schließt die Konstruktionsphase ab und eröffnet die Kontrollphase.

Die Punktzahl entsteht außerhalb des Perimeters derer, die gebaut haben.

Diese Trennung hat eine präzise Wirkung auf die Beweiskette: Wer bewertet, führt Code aus, statt einen Bericht zu lesen. Das Artefakt bleibt nach dem Ende der Konstruktion aufrufbar, inspizierbar und überprüfbar.

Die Stichprobe: 28 Konstruktionen, sieben Kategorien

Die Autoren dokumentieren 28 ausgewählte Konstruktionen über sieben Kategorien wissenschaftlicher Aufgaben. Das Abstract nennt vier Bereiche: molekulare Vorhersage und Genomik, physiologische Signale, klinische Entscheidungsunterstützung, biomedizinischer Text.

• Zehn Labore enthalten prädiktive Modelle, die während der Konstruktion trainiert wurden.
• Die übrigen achtzehn setzen Retrieval-Systeme, ausführbare Analyseumgebungen und tool-gesteuerte Workflows um ein festes Plattform-LLM zusammen.

Die Zusammensetzung zählt mehr als die Gesamtzahl. Zwei Drittel der Auslieferungen zeigen Integrationsfähigkeit statt Trainingsfähigkeit. Der Unterschied wiegt schwer für alle, die eine Investmentthese bewerten: Bestehende Ressourcen zu integrieren und neue Modelle zu trainieren haben unterschiedliche Kosten- und Risikoprofile.

Die sieben Kategorien decken sehr verschiedene Daten ab: Moleküle, Genome, physiologische Aufzeichnungen, klinische Entscheidungen und Fachliteratur. Jede Domäne bringt eigene Formate, eigenes Rauschen und eigene Lizenzauflagen mit.

Eine Fähigkeit, die über sieben Datenfamilien gezeigt wird, wiegt mehr als dieselbe Fähigkeit über eine einzige. Die Zahl der Familien bleibt klein, und die Arbeit sagt das offen.

Warum die 33 von 33 wenig aussagen

Zwei Wörter des Abstracts begrenzen die Lesart des Ergebnisses: selected und configured. Die Konstruktionen sind eine ausgewählte Menge, und die Referenzwerte sind innerhalb desselben Protokolls konfiguriert.

Daraus ergeben sich drei Lücken. Der Nenner der versuchten Konstruktionen bleibt außerhalb des Abstracts. Auch die Überschreitungsmarge pro Subtest und die Varianz zwischen Wiederholungen bleiben draußen.

Die Schwellenwerte funktionieren als interne Referenz, statt als direkter Vergleich mit einem von menschlichen Fachleuten gebauten System bei derselben Aufgabe.

Eine vollständige Erfolgsquote auf einer gewählten Menge beschreibt eine demonstrierte Fähigkeit innerhalb eines Perimeters, den diejenigen definieren, die sie demonstrieren. Das macht es zu einem Existenzergebnis: Der Weg vom Briefing zum funktionierenden Labor ist möglich.

Wie häufig das gelingt, ist eine eigene Dimension und weitgehend noch zu messen.

Der Vergleich mit der Generation 2023 der medizinischen Evaluationen

Der methodische Sprung zeigt sich neben den Arbeiten von 2023 zur Medizin. Die Studie zu Medical Challenge Problems (https://doi.org/10.48550/arXiv.2303.13375^[2]) und die Fallstudie zum Vergleich zwischen generalistischen Modellen und dediziertem Tuning (https://doi.org/10.48550/arXiv.2311.16452^[3]) messen die Antworten eines Modells auf Fragen im Prüfungsformat.

Die Maßeinheit war die Antwort. Hier wird die Einheit das ausgelieferte System, ausgeführt von Dritten auf zurückgehaltenen Eingaben. Der Übergang verändert die Beweisklasse: von der Genauigkeit auf einem Fragenset zur Ausführbarkeit eines Artefakts.

Es bleiben zwei legitime Lesarten. Die erste sieht einen Fortschritt im Protokoll. Die zweite hält fest, dass Ausführbarkeit auf Held-out-Eingaben und Zuverlässigkeit im laufenden Betrieb getrennte Dimensionen bleiben.

Der Vergleich gilt auf der methodischen Ebene. Die Zahlen der beiden Arbeiten von 2023 betreffen andere Aufgaben als diese und müssen getrennt gehalten werden.

Was das Protokoll schließt und was es offen lässt

Die Messung am ausgelieferten Artefakt schließt eine Lücke, die dieses Ressort seit Langem dokumentiert: die Bewertung auf Basis der Erzählung des Agenten. Ein System, das seine eigenen Fortschritte beschreibt, produziert einen Text, und der Text ist leicht zu optimieren.

Die host-seitige Ausführung nimmt diesen Freiheitsgrad weg. Der Solver erhält Eingaben, produziert Ausgaben und bekommt eine Punktzahl von einem anderen Akteur als dem, der ihn gebaut hat. Die Reference Labels außerhalb der Eingabeschnittstelle schließen den direktesten Weg zur Kontamination.

Außerhalb des von den Autoren erklärten Perimeters bleiben die Bedingungen, die den realen Betrieb definieren: Volumen, Latenz, Kosten pro Aufruf, Datendrift, Zugriffs-Governance.

Die Arbeit misst die Auslieferung und ihre kontrollierte Ausführung. Daran ist sie zu lesen, und daran hält sie stand.

Was sich für Budgetverantwortliche ändert

Für ein Investitionskomitee ist die Zusammensetzung der Stichprobe die nützlichere Angabe als die Erfolgsquote. Achtzehn von 28 Auslieferungen entstehen aus Integration um ein festes LLM.

Für einen Chief Analytics Officer ist die im Protokoll implizit enthaltene Infrastruktur der interessante Teil. Es braucht eine getrennte Ausführungsumgebung, einen Satz zurückgehaltener Eingaben und einen Kanal, der die Labels außerhalb der Reichweite des Solvers hält. Das ist Plattformfähigkeit, und sie schlägt entsprechend zu Buche.

Für ein Board ist die von den Daten getragene These eng und klar: Ein Agent bringt ein wissenschaftliches Briefing bis zu einem funktionierenden Labor, das nach der Auslieferung überprüfbar bleibt. Die These zur dauerhaften Leistung im Produktivbetrieb bleibt außerhalb dieser Evidenz.

Die Zahl, die bleibt, und das Datum, das sie einordnet

Eine Diskussionsseite zu demselben Paper ist auf alphaXiv verfügbar (https://www.alphaxiv.org/abs/2609.28697^[4]). Die Einreichung trägt das Datum 23. September 2026, und der hier beschriebene Nachweisperimeter ist der des öffentlichen Abstracts.

Der Maßstab zählt mehr als die Punktzahl. Ein Großteil der Bewertungen agentischer Systeme läuft heute über einen Fortschrittsbericht. Der Abstand zwischen diesem Bericht und einem von Dritten ausgeführten Artefakt ist der Abstand zwischen zwei Beweisklassen.

Die 33 von 33 werden schnell altern, wie alle Zahlen dieser Art. Die Definition des bewerteten Gegenstands hat eine längere Lebensdauer, weil sie auch für die Arbeiten gilt, die danach kommen.

Die Evidenz zeigt eine gemessene Sache und eine noch offene. Die erste ist die Auslieferung eines ausführbaren Labors, die zweite ist sein Verhalten unter Last.