KDDI: Wie Buffmee in wenigen Wochen zum zuverlässigen KI-Agenten wurde

Im September 2026 startete KDDI, einer der größten Telekommunikationsbetreiber Japans, Buffmee – eine Anwendung generativer Künstlicher Intelligenz, die auf der Idee eines Begleiters basiert, der dem Benutzer beim Wachstum hilft. Das Team entschied sich, jede Antwort in über hundert proprietären Quellen – Bücher, Magazine und Webinhalte – zu verankern und dabei immer die Informationsquelle zu zitieren.

Das technische Team stand vor einer Herausforderung, die bei der Gestaltung von RAG-Systemen für Verbraucher häufig auftritt: das Gleichgewicht zwischen semantischer Qualität und Antwortgeschwindigkeit bei einer großen und heterogenen Inhaltsbibliothek. Das Endergebnis zeigt, wie eine Prozessentscheidung – noch vor einer technologischen Wahl – das Schicksal eines Verbraucherstarts bestimmen kann.

Der Kontext: Ein Fall außerhalb des amerikanischen Spielplans

Die meisten Enterprise-AI-Deployments, die in internationalen Medien beschrieben werden, stammen von US-amerikanischen Unternehmen. Buffmee zeigt ein anderes Muster, verwurzelt im japanischen Markt, wo KDDI als führender Carrier mit Millionen von Verbrauchern tätig ist.

Das Projekt bestätigt, dass AI-Enterprise-Ergebnisse außerhalb der USA nach eigenen, an den lokalen Kontext angepassten Logiken folgen, statt ein importiertes Schema zu replizieren. Für diejenigen, die Markt-Benchmarks auf Board-Ebene bewerten, ist dieses geografische Detail genauso wichtig wie die Metrik selbst.

Die ursprüngliche Idee: Mit verifiziertem Inhalt wachsen

Buffmee basiert auf einer präzisen These: Durch das Zitieren von Quellen kann eine persönliche Lern-App das Vertrauen von Verlegern und Nutzern gleichzeitig gewinnen. Das Team integrierte eine heterogene Bibliothek – bestehend aus Büchern, Magazinen und Webmaterial – und transformierte sie in eine in Echtzeit abfragbare Wissensbasis.

Das erklärte Ziel war es, dass jeder Inhalt sofort nach dem Upload als funktionierendes RAG-System verfügbar sein sollte. Shunya Onoda vom AI Product Department von KDDI beschrieb diese Vision als das Herzstück des Projekts und betonte die Rolle der technischen Unterstützung, die Google Cloud bei der Umsetzung leistete.

Das Problem: Qualität gegen Geschwindigkeit

Während der Entwicklung trafen die Ingenieure auf zwei parallele Hindernisse. Das erste betraf die Latenz: Das System kämpfte damit, die angestrebten Antwortzeiten einzuhalten – ein kritischer Faktor für eine Verbraucheranwendung, bei der Wartezeiten Nutzer abschrecken.

Das zweite betraf die semantische Zuverlässigkeit: Mit hunderten heterogener Quellen stieg das Risiko von Halluzinationen proportional zur Vielfalt der integrierten Inhalte. Das Lösen nur eines der beiden Probleme hätte das andere beeinträchtigt: Eine schnellere Generierung könnte die Genauigkeit verschlechtern, während eine verbesserte Genauigkeit die Antwortzeiten verlängern könnte.

Dieser Konflikt tritt bei fast jeder Verbraucher-RAG-Anwendung auf, die auf proprietäre und vielfältige Inhaltsbibliotheken angewiesen ist – von redaktionellen Texten bis zu Multimedia-Materialien.

Wie sie automatische Bewertung aufbauten

Manuelles Testen, so rigoros es auch sein mag, hat eine strukturelle Grenze: Es wächst linear mit dem Inhaltsvolumen, und eine Bibliothek dieser Größe macht es unpraktisch. Das Team konzipierte daher einen systematischen Bewertungsprozess basierend auf Gemini Enterprise Agent Platform Evaluation Service.

Mit Techniken wie LLM-as-a-Judge und der Methode Rule of Hundreds erstellten die Ingenieure hunderte automatisierte Testfälle aus dem bestehenden Dokumentencorpus. Dieser Ansatz ersetzte handwerkliches Testen durch einen wiederholbaren Prozess, der Leistungsengpässe in Echtzeit – Abschnitt für Abschnitt der RAG-Pipeline – identifizieren konnte.

Die Entscheidung, die Bewertung vor der Optimierung des Sprachmodells zu automatisieren, stellte die echte architektonische Entscheidung des Projekts dar.

Die verifizierten Ergebnisse

Die Zahlen zeigen eine gezielte und spezifische Optimierung. Laut Google Cloud^[1] reduzierte KDDI die Gesamtlatenz der Anwendung um 38% und erreichte damit das in der Designphase festgelegte Performance-Ziel. Die Time-to-First-Token – die Metrik, die misst, wie lange der Benutzer wartet, bevor er den ersten Teil der Antwort sieht – verbesserte sich um etwa 18%.

• Reduzierung der Gesamtlatenz der Anwendung: 38%
• Verbesserung des Time-to-First-Token: etwa 18%
• Grounding-Basis: über 100 proprietäre Quellen – Bücher, Magazine und Webinhalte

Diese beiden Zahlen zusammen definieren einen glaubwürdigen Fall: Sie haben einen expliziten Nenner, einen deklarierten zeitlichen Horizont und eine zitierbare primäre Quelle.

Der Reibungspunkt

Die zentrale Korrektur der Geschichte betrifft den Bewertungsansatz selbst. Das Team hatte zunächst auf ausgedehnte manuelle Tests gesetzt – eine Methode, die vertraut ist für diejenigen, die an komplexen redaktionellen Inhalten arbeiten.

Die Größe der Bibliothek machte diesen Ansatz jedoch in zeitlich nützlicher Weise unhaltbar für den Start. Das Verlassen von manuellem Testen zugunsten eines automatisierten Rahmens stellt tatsächlich eine Kurskorrektur dar und nicht ein Versagen: Die Bereitschaft, die Methode angesichts von Erkenntnissen zu ändern, ist ein Zeichen operativer Reife, nie eine Schwäche.

Was wir mitnehmen können

Für einen CTO, der eine RAG-Anwendung mit mehreren proprietären Quellen gestaltet, bietet der Fall Buffmee einen konkreten Spielplan. Erstens: Automatische Bewertung skaliert dort, wo manuelles Testen aufhört, und ist eine Investition, die vor dem Start erfolgen muss, nie danach.

Zweitens: Latenz und semantische Qualität sollten zusammen gemessen werden, mit Methodologien, die den Beitrag jeder Komponente der Pipeline isolieren. Drittens: Das Zitieren von Quellen schafft nicht nur Vertrauen bei der Endnutzer, sondern bietet auch einen nützlichen internen Verifikationsmechanismus während der Entwicklung.

Für diejenigen, die das Projekt aus Budgetperspektive betrachten, ist die Botschaft ebenso direkt: In einen automatisierten Bewertungsrahmen vor dem Start zu investieren kostet weniger, als Latenzprobleme nach der öffentlichen Freigabe zu verfolgen. Wer an ähnlichen Projekten arbeitet, kann dieses Schema nur durch Anpassung des Bewertungsrahmens an die eigene Inhaltsgröße replizieren.

Die offene Frage

Der Fall KDDI zeigt, wie die architektonische Entscheidung – noch vor der Wahl des Sprachmodells – das Schicksal eines Verbraucherdeploys in großem Maßstab bestimmt. Sollte die eigene Organisation einen zuverlässigen KI-Agenten in wenigen Wochen aufbauen, bleibt die Frage, die sich auch KDDI stellte, dieselbe: Skaliert das Bewertungssystem mit dem Inhalt, oder wird es zum Engpass, der alles andere verlangsamt?