Replicabilità nel machine learning: conta il protocollo

Il numero che conta sta nel protocollo

Il 16 settembre 2026 quattro ricercatori hanno depositato su arXiv uno studio su solette sensorizzate per il riconoscimento dell'attività motoria nell'assistenza agli anziani. Il valore più alto dichiarato arriva a 0,980 di macro-F1^[1].

L'elemento rilevante sta altrove.

Gli autori usano due protocolli di validazione distinti, con scopi separati. Una cross-validation stratificata a 10 fold serve a scegliere la lunghezza della finestra temporale e la famiglia di modelli candidati. Una Stratified Group cross-validation a 5 fold, indipendente dal partecipante, produce la stima di prestazione portata avanti nel paper.

La distinzione pare una nota di metodo. Decide invece che cosa il numero finale descrive davvero: la capacità del modello di leggere l'attività di una persona mai vista in addestramento.

Questa è la domanda che interessa a chi finanzia il passaggio dal prototipo al prodotto.

Che cosa misura una partizione casuale

In una cross-validation stratificata ordinaria le finestre di uno stesso soggetto cadono sia in addestramento sia in test. I segnali plantari di un individuo portano una firma stabile: peso, lunghezza del passo, distribuzione del carico, ritmo dell'appoggio.

Il modello impara quella firma e la ritrova dall'altro lato della partizione.

Il punteggio che ne esce descrive il riconoscimento di persone già incontrate, dentro un compito che dichiara di riconoscere attività. Le finestre sovrapposte aggravano l'effetto, perché due campioni adiacenti condividono una parte del segnale grezzo.

Lo schema Stratified Group chiude questa via. Tutte le finestre di un partecipante restano dentro un unico fold, quindi il test avviene su soggetti esterni all'addestramento. La stima cambia natura: passa da misura di memoria a misura di generalizzazione.

Il campione, con i suoi numeri esatti

I dati arrivano da 15 adulti sani, campionati a 80 Hz e tagliati in finestre sovrapposte. Ogni soletta integra 16 punti attivi di rilevazione della pressione plantare e un flusso inerziale a sei dimensioni: accelerazione e velocità angolare sui tre assi.

Le classi di attività sono quattro.

• seduto
• in piedi
• cammino
• cammino instabile

Sotto il protocollo indipendente dal partecipante, l'Histogram-Based Gradient Boosting arriva a 0,954 di macro-F1 sul piede sinistro e a 0,959 sul destro. La rilevazione bilaterale porta il valore a 0,980.

Il protocollo di screening e il protocollo di stima restano separati, e questa separazione evita che la scelta della finestra temporale si adatti ai dati di test.

Il salto tra piede singolo e coppia di solette vale circa due punti e mezzo di macro-F1. È una differenza di hardware, con un costo per unità che raddoppia e un'aderenza d'uso che peggiora. Chi valuta il dispositivo tiene insieme le due voci.

Il modello semplice regge il confronto

Gli autori affiancano all'HGB una 1D-CNN compatta, valutata sugli stessi fold indipendenti dal partecipante. Il confronto restituisce p=0,0625, quindi il margine della rete resta sopra la soglia convenzionale di 0,05.

Con 15 partecipanti il test ha poca potenza. Gli autori dichiarano il valore invece di presentarlo come vittoria, e questa prudenza è il segnale metodologico più utile del lavoro.

L'evidenza mostra un gradient boosting su feature tabellari alla pari con una rete convoluzionale, su un compito di serie temporali con campione ridotto. Il fatto ha conseguenze dirette sul budget: un modello a gradiente gira su microcontrollore, chiede poco tuning e resta ispezionabile voce per voce.

La scelta architetturale, in casi come questo, si decide sul costo di esercizio.

I limiti che gli autori dichiarano

Il campione è composto da adulti sani. La popolazione clinica a cui il caso d'uso guarda, anziani con mobilità ridotta, resta fuori dalla raccolta dati.

Gli autori scelgono una formula prudente e parlano di base per il monitoraggio dell'attività e la prevenzione delle cadute, invece di annunciare uno strumento pronto. La distanza tra le due frasi copre l'intera fase di validazione clinica.

Anche il cammino instabile è una condizione indotta in laboratorio. L'instabilità che precede una caduta reale nasce da patologia, farmaci, affaticamento, superfici irregolari. Il protocollo attuale copre una porzione di quello spazio.

Una replica su coorte anziana resta il passo che manca. Il protocollo attuale rende quel confronto leggibile, perché fissa una linea di base misurata su soggetti esterni all'addestramento.

Restano fuori dalla misura almeno tre dimensioni operative.

• durata del monitoraggio oltre la sessione controllata
• deriva del sensore e usura della soletta
• variabilità della calzatura e del terreno

Perché la questione riguarda un comitato investimenti

Un benchmark misura condizioni standardizzate. La produzione ne genera di diverse a ogni ciclo di deployment, e il divario tra le due situazioni è il posto dove vivono quasi tutti i fallimenti di progetto.

Questo paper offre un caso raro: stessa pipeline, stessi dati, due protocolli di misura, due significati diversi dello stesso punteggio.

Per un investment committee la lettura resta diretta. Una due diligence tecnica che accetta il punteggio dichiarato compra l'ottimismo del protocollo più permissivo. Una due diligence che chiede la definizione dei fold compra informazione sulla generalizzazione.

La domanda da porre a un fornitore ha una forma breve: come sono costruite le partizioni di test, e quale variabile separa i gruppi.

Una risposta vaga su questo punto vale quanto un punteggio assente.

Il debito di misura arriva prima del debito di dati

Molti programmi di analytics trattano la validazione come passaggio finale, una formalità dopo la scelta del modello. L'ordine corretto risulta inverso: il protocollo di valutazione definisce la domanda a cui il modello risponde.

Per un Chief Analytics Officer la conseguenza è infrastrutturale. Servono metadati di gruppo dentro il dataset fin dalla raccolta: identificativo del soggetto, sessione, dispositivo, sito, turno. In assenza di quei campi, una partizione a gruppi diventa impossibile a valle.

Il lavoro sulle solette dimostra il punto con una economia rara. Una riga di protocollo separa un risultato da vetrina e una stima che regge il contatto con persone nuove.

Per un board la traduzione resta secca. La tesi tecnologica sostenuta dai dati riguarda la capacità di misurare, prima della capacità di modellare.

Che cosa resta effettivamente misurato

Il lavoro documenta quattro stati motori riconosciuti su 15 adulti sani, con sensori plantari e inerziali, sotto una validazione che esclude il soggetto di test dall'addestramento. Dentro quei confini il risultato regge.

Fuori da quei confini comincia il territorio della clinica, della durata e dell'uso quotidiano.

La lezione trasferibile riguarda il metodo, e vale per qualunque sistema di machine learning addestrato su dati raccolti da persone, sedi o macchine ripetute nel tempo. La replica di un risultato dipende dal disegno della partizione quanto dipende dall'algoritmo.

Il punteggio descrive un protocollo. Chi legge il punteggio e ignora il protocollo legge metà della frase.