Reproduzierbarkeit im Machine Learning: Es kommt auf das Protokoll an

Die entscheidende Zahl steckt im Protokoll

Am 16. September 2026 haben vier Forschende auf arXiv eine Studie zu sensorbestückten Einlegesohlen für die Erkennung motorischer Aktivität in der Altenpflege eingereicht. Der höchste ausgewiesene Wert erreicht einen Makro-F1 von 0,980^[1].

Das Bemerkenswerte liegt woanders.

Die Autoren verwenden zwei getrennte Validierungsprotokolle mit unterschiedlichen Zwecken. Eine stratifizierte 10-fach-Kreuzvalidierung dient dazu, die Länge des Zeitfensters und die Familie der Kandidatenmodelle auszuwählen. Eine teilnehmerunabhängige Stratified-Group-Kreuzvalidierung mit 5 Folds liefert die Leistungsschätzung, die im Paper weitergeführt wird.

Die Unterscheidung wirkt wie eine Methodenfußnote. Sie entscheidet jedoch darüber, was die finale Zahl tatsächlich beschreibt: die Fähigkeit des Modells, die Aktivität einer im Training nie gesehenen Person zu lesen.

Das ist die Frage, die jene interessiert, die den Schritt vom Prototyp zum Produkt finanzieren.

Was eine zufällige Aufteilung misst

In einer gewöhnlichen stratifizierten Kreuzvalidierung fallen die Fenster ein und derselben Person sowohl ins Training als auch in den Test. Die Fußsohlensignale einer Person tragen eine stabile Signatur: Gewicht, Schrittlänge, Lastverteilung, Rhythmus des Aufsetzens.

Das Modell lernt diese Signatur und findet sie auf der anderen Seite der Aufteilung wieder.

Der resultierende Wert beschreibt das Wiedererkennen bereits begegneter Personen, innerhalb einer Aufgabe, die vorgibt, Aktivitäten zu erkennen. Überlappende Fenster verschärfen den Effekt, weil zwei benachbarte Stichproben einen Teil des Rohsignals teilen.

Das Stratified-Group-Schema schließt diesen Weg. Alle Fenster einer teilnehmenden Person bleiben in ein und demselben Fold, der Test findet also an Personen außerhalb des Trainings statt. Die Schätzung wechselt ihre Natur: vom Maß für Erinnerung zum Maß für Generalisierung.

Die Stichprobe mit ihren genauen Zahlen

Die Daten stammen von 15 gesunden Erwachsenen, abgetastet mit 80 Hz und in überlappende Fenster geschnitten. Jede Einlegesohle vereint 16 aktive Messpunkte für den Plantardruck und einen sechsdimensionalen Inertialdatenstrom: Beschleunigung und Winkelgeschwindigkeit auf drei Achsen.

Es gibt vier Aktivitätsklassen.

• Sitzen
• Stehen
• Gehen
• instabiles Gehen

Unter dem teilnehmerunabhängigen Protokoll erreicht das Histogram-Based Gradient Boosting einen Makro-F1 von 0,954 am linken Fuß und 0,959 am rechten. Die beidseitige Messung hebt den Wert auf 0,980.

Screening-Protokoll und Schätzprotokoll bleiben getrennt, und diese Trennung verhindert, dass sich die Wahl des Zeitfensters an die Testdaten anpasst.

Der Sprung vom einzelnen Fuß zum Sohlenpaar bringt rund zweieinhalb Punkte Makro-F1. Es ist ein Hardware-Unterschied, mit doppelten Stückkosten und schlechterer Nutzungstreue im Alltag. Wer das Gerät bewertet, betrachtet beide Posten zusammen.

Das einfache Modell hält dem Vergleich stand

Die Autoren stellen dem HGB ein kompaktes 1D-CNN zur Seite, ausgewertet auf denselben teilnehmerunabhängigen Folds. Der Vergleich ergibt p=0,0625, der Vorsprung des Netzes bleibt also oberhalb der konventionellen Schwelle von 0,05.

Mit 15 Teilnehmenden hat der Test wenig Teststärke. Die Autoren nennen den Wert, statt ihn als Sieg zu präsentieren, und diese Zurückhaltung ist das methodisch nützlichste Signal der Arbeit.

Die Evidenz zeigt ein Gradient Boosting auf tabellarischen Merkmalen auf Augenhöhe mit einem Faltungsnetz, bei einer Zeitreihenaufgabe mit kleiner Stichprobe. Das hat direkte Folgen für das Budget: Ein Gradientenmodell läuft auf einem Mikrocontroller, verlangt wenig Tuning und bleibt Posten für Posten nachvollziehbar.

Die Architekturwahl entscheidet sich in solchen Fällen an den Betriebskosten.

Die Grenzen, die die Autoren benennen

Die Stichprobe besteht aus gesunden Erwachsenen. Die klinische Population, auf die der Anwendungsfall zielt, ältere Menschen mit eingeschränkter Mobilität, bleibt außerhalb der Datenerhebung.

Die Autoren wählen eine vorsichtige Formulierung und sprechen von einer Grundlage für Aktivitätsmonitoring und Sturzprävention, statt ein einsatzbereites Instrument anzukündigen. Der Abstand zwischen diesen beiden Sätzen deckt die gesamte Phase der klinischen Validierung ab.

Auch das instabile Gehen ist ein im Labor herbeigeführter Zustand. Die Instabilität, die einem realen Sturz vorausgeht, entsteht aus Krankheit, Medikamenten, Erschöpfung, unebenem Untergrund. Das derzeitige Protokoll deckt einen Ausschnitt dieses Raums ab.

Eine Replikation an einer älteren Kohorte bleibt der fehlende Schritt. Das derzeitige Protokoll macht diesen Vergleich lesbar, weil es eine Basislinie festlegt, die an Personen außerhalb des Trainings gemessen wurde.

Mindestens drei operative Dimensionen bleiben außerhalb der Messung.

• Dauer des Monitorings über die kontrollierte Sitzung hinaus
• Sensordrift und Verschleiß der Einlegesohle
• Variabilität von Schuhwerk und Untergrund

Warum die Frage ein Investitionskomitee betrifft

Ein Benchmark misst standardisierte Bedingungen. Der Produktivbetrieb erzeugt bei jedem Deployment-Zyklus andere, und die Lücke zwischen beiden Situationen ist der Ort, an dem fast alle Projektfehlschläge wohnen.

Dieses Paper bietet einen seltenen Fall: dieselbe Pipeline, dieselben Daten, zwei Messprotokolle, zwei verschiedene Bedeutungen desselben Werts.

Für ein Investment Committee bleibt die Lesart direkt. Eine technische Due Diligence, die den ausgewiesenen Wert akzeptiert, kauft den Optimismus des großzügigeren Protokolls. Eine Due Diligence, die nach der Definition der Folds fragt, kauft Information über die Generalisierung.

Die Frage an einen Anbieter hat eine knappe Form: Wie sind die Testaufteilungen aufgebaut, und welche Variable trennt die Gruppen.

Eine vage Antwort an dieser Stelle ist so viel wert wie ein fehlender Wert.

Die Messschuld kommt vor der Datenschuld

Viele Analytics-Programme behandeln die Validierung als letzten Schritt, eine Formalität nach der Modellwahl. Die richtige Reihenfolge ist umgekehrt: Das Evaluationsprotokoll definiert die Frage, auf die das Modell antwortet.

Für einen Chief Analytics Officer ist die Konsequenz infrastrukturell. Es braucht Gruppenmetadaten im Datensatz von der Erhebung an: Kennung der Person, Sitzung, Gerät, Standort, Schicht. Fehlen diese Felder, wird eine Gruppenaufteilung nachgelagert unmöglich.

Die Arbeit zu den Einlegesohlen belegt den Punkt mit seltener Sparsamkeit. Eine Zeile Protokoll trennt ein Schaufensterergebnis von einer Schätzung, die dem Kontakt mit neuen Personen standhält.

Für ein Board bleibt die Übersetzung nüchtern. Die von den Daten getragene Technologiethese betrifft die Fähigkeit zu messen, noch vor der Fähigkeit zu modellieren.

Was tatsächlich gemessen bleibt

Die Arbeit dokumentiert vier motorische Zustände, erkannt an 15 gesunden Erwachsenen, mit Plantar- und Inertialsensoren, unter einer Validierung, die die Testperson vom Training ausschließt. Innerhalb dieser Grenzen hält das Ergebnis stand.

Außerhalb dieser Grenzen beginnt das Gebiet der Klinik, der Dauer und der täglichen Nutzung.

Die übertragbare Lehre betrifft die Methode und gilt für jedes Machine-Learning-System, das auf Daten trainiert wurde, die von über die Zeit wiederkehrenden Personen, Standorten oder Maschinen stammen. Die Replikation eines Ergebnisses hängt vom Zuschnitt der Aufteilung ebenso ab wie vom Algorithmus.

Der Wert beschreibt ein Protokoll. Wer den Wert liest und das Protokoll ignoriert, liest den halben Satz.