Inferenza on-device: l'AI lascia il cloud per il telefono

La tesi: il valore scende dentro il dispositivo

Il compute di frontiera ha smesso di comprare vantaggio competitivo.

Il 15 settembre 2026 un gruppo di ricercatori di LISN e STL ha pubblicato una misura che pesa più di molti keynote. Un modello da 0,8 miliardi di parametri arriva all'89,7% di accuratezza sul dataset SNLI, a 1,9 punti dal gemello addestrato sul testo, come documenta il paper di Boufouss e colleghi^[1].

Il dato merita attenzione per un motivo preciso. La pipeline esclude del tutto il testo grezzo: il classificatore legge grafi di proposizioni atomiche, tradotte in triple ConceptNet. Le due modalità unite salgono al 92,1% sullo stesso dataset.

Questo è un cambio di regime. La capacità per parametro ha superato la soglia oltre cui il gigantismo resta una scelta di comodo, e l'inferenza on-device diventa la strada corta verso il valore.

Il consenso guarda la metrica sbagliata

Il consenso misura l'intelligenza in parametri e in punteggi assoluti sui benchmark di frontiera. È la metrica che descrive il presente con precisione e sbaglia il ritmo del cambiamento.

La metrica che predice è un'altra: quanta capacità resta per parametro, una volta compresso il modello dentro un chip mobile. Su questo terreno il lavoro francese offre il primo numero pulito. Un modello piccolo, addestrato bene, paga meno di due punti su un compito di inferenza logica standard.

Il 90% degli analisti ha ragione sul presente. La classifica dei modelli di frontiera conta parecchio oggi, e conterà poco quando il carico di lavoro aziendale si sposterà su compiti ripetitivi, verificabili, delicati sul piano legale.

Quei compiti vivono benissimo dentro 0,8 miliardi di parametri: estrazione di clausole, riconciliazione di documenti, controllo di coerenza tra fonti. Il cloud di frontiera resta utile per la coda lunga del ragionamento aperto.

La curva: tre punti sullo stesso asse

Una traiettoria richiede almeno tre punti. Il paper ne offre tre, tutti sulla stessa domanda: quanto costa in accuratezza rinunciare al testo grezzo e restare dentro una rappresentazione leggibile.

• SNLI: 89,7% contro il modello testuale addestrato in modo identico, distacco di 1,9 punti.
• ANLI round R2: 48,0% contro il 48,9% pubblicato di RoBERTa-large.
• ANLI round R3: 44,9% contro il 44,4% di RoBERTa-large.

Il quarto punto pesa più degli altri tre. Sul round R1 la pipeline perde 16 punti, e il divario complessivo si assesta tra 9 e 14 punti.

Gli autori chiamano questo scarto il prezzo dell'interpretabilità, e mostrano che nasce da limiti di rappresentazione, invece che da scarsità di dati. La distinzione conta parecchio: i limiti di rappresentazione cadono con architetture migliori, in mesi, mentre la scarsità di dati chiede anni di raccolta.

Le posizioni permanenti di questo desk fissano l'altro asse della curva: il prezzo dell'intelligenza scende di circa 40 volte l'anno, e il dispositivo batte il cloud perché sensore e inferenza locale calano più in fretta della banda.

Il prezzo dell'interpretabilità è una voce di bilancio

Fino a oggi l'auditabilità dell'AI viveva nelle slide di compliance. Adesso ha un prezzo in cifre.

Un'azienda che sceglie una pipeline leggibile sa quanto paga: circa due punti sui compiti semplici, fino a 14 punti sui casi avversariali costruiti apposta per rompere i modelli. Questo trasforma una discussione filosofica in una riga di contratto.

Il meccanismo causale è chiaro. Un classificatore che legge grafi produce una catena di evidenze ispezionabile: proposizione atomica, tripla, sottografo recuperato. Un revisore umano segue il percorso e indica il passo che ha prodotto l'errore.

Il modello cloud opaco offre il punteggio più alto e una scatola chiusa. Nei settori regolati quella scatola costa multe, perizie e tempo di avvocato, voci che superano di gran lunga il valore di due punti di accuratezza.

Ecco perché questa misura vale più della sua dimensione accademica: mette un cartellino del prezzo su una scelta architetturale che migliaia di CTO firmeranno nei prossimi ventiquattro mesi.

Cliff event: il rinnovo dei contratti 2027-2029

L'adozione tecnologica raramente cresce con dolcezza: salta, quando cade un vincolo.

Il vincolo qui è la clausola di audit. Nel momento in cui un modello piccolo, locale e ispezionabile arriva a due punti dal modello grande, chi compra tecnologia guadagna una leva nuova al tavolo della trattativa.

Cliff event: rinnovo dei contratti aziendali di inferenza nel ciclo 2027-2029, con un livello locale auditabile come opzione standard. La data arriva dal ritmo dei contratti pluriennali firmati nel 2025 e nel 2026, che scadono dentro quella finestra.

Chi firma oggi un accordo triennale su un'architettura cloud-first compra una dipendenza destinata a invecchiare prima della scadenza. È il classico errore di prezzare come permanente una scarsità che dura un ciclo.

Il silicio accompagna il movimento. Arm porta il tema dello scaling della physical AI a RoboBusiness, segnale che l'inferenza al bordo della rete è già una priorità di roadmap per chi disegna i chip, come racconta The Robot Report^[2].

Tre categorie che cambieranno forma entro il 2029

La prima è l'inferenza a basso valore venduta a token. I fornitori che campano su richieste ripetitive di classificazione vedranno quel volume migrare sul dispositivo del cliente, dove il costo marginale tende a zero.

La seconda è il software di document intelligence costruito come strato sottile sopra un'API di frontiera. Quando il modello scende a 0,8 miliardi di parametri e gira dentro il perimetro del cliente, quello strato perde la sua ragione di esistere, e resta il dato proprietario come unica difesa.

La terza è l'audit di conformità fatto a campione. Una pipeline che espone la catena di evidenze permette il controllo totale a costo quasi nullo, e il campionamento diventa un residuo del passato.

Apple, Qualcomm e Arm siedono dalla parte giusta di questo movimento. I loro clienti, cioè i produttori di software aziendale, dovranno riscrivere il modello di ricavo prima del prossimo giro di finanziamento.

La mia posizione, e cosa mi farebbe cambiare idea

La mia posizione, in una riga: il valore dell'AI aziendale migra verso modelli abbastanza piccoli da girare sul telefono, e il compute di frontiera diventa infrastruttura di base a margine calante.

Il ragionamento poggia su tre gambe. Prima: la capacità per parametro cresce più in fretta della domanda di ragionamento aperto nei processi reali. Seconda: l'auditabilità ha adesso un prezzo misurato, quindi negoziabile. Terza: il costo di trasporto dei dati verso il cloud resta fisso, mentre il costo dell'inferenza locale scende ogni trimestre.

Cosa mi farebbe cambiare idea? Un salto di capacità sui modelli di frontiera che allarghi di nuovo il divario oltre i 15 punti sui compiti aziendali comuni, unito a una caduta del prezzo del token cloud tale da rendere irrilevante il risparmio locale.

Il divario sul round R1 di ANLI, 16 punti pieni, merita rispetto. Indica che il ragionamento avversariale resta territorio del modello grande, per adesso.

Previsione, orizzonte, kill signal

Previsione: entro il 31 dicembre 2027 almeno tre tra i primi dieci fornitori aziendali di AI generativa offriranno un livello di inferenza locale auditabile come voce contrattuale standard, invece che come progetto pilota.

Confidence: 68 su 100. Orizzonte: 470 giorni. Kill signal: un benchmark pubblico riconosciuto che, a dicembre 2027, mostri i modelli sotto i 2 miliardi di parametri oltre 10 punti sotto i modelli cloud sui compiti standard di inferenza logica.

Inevitabile, invece che imminente: la direzione resta chiara, il calendario dipende dai cicli di rinnovo. Chi firma nel 2027 decide dove finirà il valore nel 2030.