On-Device-Inferenz: Die KI verlässt die Cloud und zieht aufs Smartphone

Die These: Der Wert wandert ins Gerät

Frontier-Compute kauft kein Wettbewerbsvorteil mehr ein.

Am 15. September 2026 hat eine Forschergruppe von LISN und STL eine Messung veröffentlicht, die schwerer wiegt als so manche Keynote. Ein Modell mit 0,8 Milliarden Parametern erreicht 89,7 % Genauigkeit auf dem SNLI-Datensatz und liegt damit 1,9 Punkte hinter dem auf Text trainierten Zwilling, wie das Paper von Boufouss und Kollegen^[1] dokumentiert.

Diese Zahl verdient aus einem präzisen Grund Aufmerksamkeit. Die Pipeline schließt Rohtext vollständig aus: Der Klassifikator liest Graphen atomarer Propositionen, übersetzt in ConceptNet-Tripel. Zusammengenommen steigen beide Modalitäten auf 92,1 % im selben Datensatz.

Das ist ein Regimewechsel. Die Kapazität pro Parameter hat die Schwelle überschritten, jenseits derer Gigantismus nur noch eine Bequemlichkeitsentscheidung bleibt – und die On-Device-Inferenz wird zum kurzen Weg zum Wert.

Der Konsens schaut auf die falsche Kennzahl

Der Konsens misst Intelligenz in Parametern und in absoluten Punktzahlen auf den Frontier-Benchmarks. Es ist die Kennzahl, die die Gegenwart präzise beschreibt und den Takt der Veränderung verfehlt.

Die Kennzahl mit Prognosekraft ist eine andere: wie viel Kapazität pro Parameter übrig bleibt, wenn das Modell einmal in einen Mobilchip komprimiert ist. Auf diesem Feld liefert die französische Arbeit die erste saubere Zahl. Ein kleines, gut trainiertes Modell zahlt weniger als zwei Punkte bei einer Standardaufgabe der logischen Inferenz.

90 % der Analysten haben recht, was die Gegenwart angeht. Das Ranking der Frontier-Modelle zählt heute eine Menge – und wird wenig zählen, sobald die betriebliche Arbeitslast auf repetitive, überprüfbare, rechtlich heikle Aufgaben verlagert wird.

Diese Aufgaben leben bestens innerhalb von 0,8 Milliarden Parametern: Klauselextraktion, Dokumentenabgleich, Konsistenzprüfung zwischen Quellen. Die Frontier-Cloud bleibt nützlich für den langen Schwanz des offenen Schlussfolgerns.

Die Kurve: drei Punkte auf derselben Achse

Eine Entwicklungslinie braucht mindestens drei Punkte. Das Paper liefert drei, alle zur selben Frage: Was kostet es an Genauigkeit, auf Rohtext zu verzichten und innerhalb einer lesbaren Repräsentation zu bleiben.

• SNLI: 89,7 % gegenüber dem identisch trainierten Textmodell, Abstand von 1,9 Punkten.
• ANLI Runde R2: 48,0 % gegenüber den veröffentlichten 48,9 % von RoBERTa-large.
• ANLI Runde R3: 44,9 % gegenüber 44,4 % von RoBERTa-large.

Der vierte Punkt wiegt schwerer als die anderen drei. In Runde R1 verliert die Pipeline 16 Punkte, und der Gesamtabstand pendelt sich zwischen 9 und 14 Punkten ein.

Die Autoren nennen diese Differenz den Preis der Interpretierbarkeit und zeigen, dass sie aus Grenzen der Repräsentation entsteht und nicht aus einem Mangel an Daten. Die Unterscheidung wiegt schwer: Grenzen der Repräsentation fallen mit besseren Architekturen, in Monaten, während Datenmangel Jahre des Sammelns verlangt.

Die festen Positionen dieses Desks markieren die andere Achse der Kurve: Der Preis der Intelligenz fällt um rund das 40-Fache pro Jahr, und das Gerät schlägt die Cloud, weil Sensor und lokale Inferenz schneller billiger werden als die Bandbreite.

Der Preis der Interpretierbarkeit ist ein Bilanzposten

Bis heute lebte die Auditierbarkeit von KI in Compliance-Folien. Jetzt hat sie einen Preis in Zahlen.

Ein Unternehmen, das sich für eine lesbare Pipeline entscheidet, weiß, was es zahlt: rund zwei Punkte bei einfachen Aufgaben, bis zu 14 Punkte bei adversarialen Fällen, die eigens gebaut wurden, um Modelle zu brechen. Das verwandelt eine philosophische Debatte in eine Vertragszeile.

Der kausale Mechanismus ist klar. Ein Klassifikator, der Graphen liest, erzeugt eine überprüfbare Beweiskette: atomare Proposition, Tripel, abgerufener Teilgraph. Ein menschlicher Prüfer folgt dem Pfad und zeigt auf den Schritt, der den Fehler erzeugt hat.

Das undurchsichtige Cloud-Modell bietet die höhere Punktzahl und eine geschlossene Box. In regulierten Branchen kostet diese Box Bußgelder, Gutachten und Anwaltsstunden – Posten, die den Wert von zwei Genauigkeitspunkten bei Weitem übersteigen.

Genau deshalb wiegt diese Messung schwerer als ihre akademische Dimension: Sie hängt ein Preisschild an eine Architekturentscheidung, die Tausende CTOs in den kommenden 24 Monaten unterschreiben werden.

Cliff Event: die Vertragsverlängerungen 2027–2029

Technologieadoption wächst selten sanft: Sie springt, wenn ein Engpass fällt.

Der Engpass ist hier die Audit-Klausel. In dem Moment, in dem ein kleines, lokales und überprüfbares Modell bis auf zwei Punkte an das große heranrückt, gewinnt der Technologieeinkäufer einen neuen Hebel am Verhandlungstisch.

Cliff Event: die Verlängerung der Unternehmensverträge für Inferenz im Zyklus 2027–2029, mit einer auditierbaren lokalen Ebene als Standardoption. Das Datum ergibt sich aus dem Rhythmus der mehrjährigen Verträge, die 2025 und 2026 unterzeichnet wurden und innerhalb dieses Fensters auslaufen.

Wer heute einen Dreijahresvertrag auf einer Cloud-First-Architektur unterschreibt, kauft eine Abhängigkeit, die vor Vertragsende veraltet sein wird. Es ist der klassische Fehler, eine Knappheit als dauerhaft zu bepreisen, die nur einen Zyklus hält.

Das Silizium begleitet die Bewegung. Arm bringt das Thema Skalierung physischer KI auf die RoboBusiness – ein Signal, dass Inferenz am Netzwerkrand für Chipdesigner längst Roadmap-Priorität hat, wie The Robot Report^[2] berichtet.

Drei Kategorien, die sich bis 2029 verändern werden

Die erste ist die geringwertige Inferenz, die nach Token verkauft wird. Anbieter, die von repetitiven Klassifikationsanfragen leben, werden dieses Volumen auf das Gerät des Kunden abwandern sehen, wo die Grenzkosten gegen null tendieren.

Die zweite ist Document-Intelligence-Software, gebaut als dünne Schicht über einer Frontier-API. Wenn das Modell auf 0,8 Milliarden Parameter schrumpft und innerhalb des Kundenperimeters läuft, verliert diese Schicht ihre Existenzberechtigung, und es bleibt allein das proprietäre Datenmaterial als Verteidigung.

Die dritte ist die stichprobenartige Compliance-Prüfung. Eine Pipeline, die die Beweiskette offenlegt, erlaubt die vollständige Kontrolle zu nahezu null Kosten, und die Stichprobe wird zum Relikt der Vergangenheit.

Apple, Qualcomm und Arm sitzen auf der richtigen Seite dieser Bewegung. Ihre Kunden, also die Hersteller von Unternehmenssoftware, werden ihr Erlösmodell vor der nächsten Finanzierungsrunde neu schreiben müssen.

Meine Position – und was mich umstimmen würde

Meine Position in einer Zeile: Der Wert von Unternehmens-KI wandert zu Modellen, die klein genug sind, um auf dem Smartphone zu laufen, und Frontier-Compute wird zur Basisinfrastruktur mit sinkender Marge.

Die Argumentation steht auf drei Beinen. Erstens: Die Kapazität pro Parameter wächst schneller als die Nachfrage nach offenem Schlussfolgern in realen Prozessen. Zweitens: Auditierbarkeit hat jetzt einen gemessenen und damit verhandelbaren Preis. Drittens: Die Kosten für den Datentransport in die Cloud bleiben fix, während die Kosten der lokalen Inferenz jedes Quartal sinken.

Was mich umstimmen würde? Ein Kapazitätssprung bei den Frontier-Modellen, der den Abstand bei gängigen Unternehmensaufgaben wieder über 15 Punkte ausweitet, verbunden mit einem Preisverfall beim Cloud-Token, der die lokale Ersparnis bedeutungslos macht.

Der Abstand in Runde R1 von ANLI, volle 16 Punkte, verdient Respekt. Er zeigt, dass adversariales Schlussfolgern vorerst Territorium des großen Modells bleibt.

Prognose, Horizont, Kill Signal

Prognose: Bis zum 31. Dezember 2027 werden mindestens drei der zehn größten Unternehmensanbieter generativer KI eine auditierbare lokale Inferenzebene als festen Vertragsbestandteil anbieten, nicht mehr als Pilotprojekt.

Confidence: 68 von 100. Horizont: 470 Tage. Kill Signal: ein anerkannter öffentlicher Benchmark, der im Dezember 2027 Modelle unter 2 Milliarden Parametern mehr als 10 Punkte hinter den Cloud-Modellen bei Standardaufgaben der logischen Inferenz zeigt.

Unausweichlich, aber nicht unmittelbar bevorstehend: Die Richtung bleibt klar, der Zeitplan hängt an den Verlängerungszyklen. Wer 2027 unterschreibt, entscheidet, wo der Wert 2030 landet.