Google ha trovato il corpo dell’AI

Il framework di Google trasforma polso, mobilità e gesti in dati interrogabili dai modelli linguistici

Il dettaglio che separa un prototipo da un assistente incarnato è la sincronizzazione.

In AgentHands, il parser locale sull’headset XR coordina la riproduzione text-to-speech con l’engine di animazione usando timestamp word-level. Non è una mano che gesticola a caso: il gesto arriva sulla parola precisa.

Google ha trovato il corpo dell’AI e non è un robot. Lo ha distribuito in tre strati: segnali da polso, ritmi di mobilità, mani in XR.

Il polso diventa un dataset interrogabile

Il primo strato parte da il Biomarker Discovery Framework: uno strumento che supporta la scoperta di candidati biomarker da dati wearable attraverso generazione iterativa di ipotesi, analisi statistica e ragionamento ancorato alla letteratura. Non cerca solo correlazioni: propone feature, le testa e motiva i passaggi successivi.

La validazione non arriva da un notebook. Il framework è stato applicato a tre coorti e 9.279 osservazioni partecipante.

Nel dominio della salute mentale, il profiling del dataset DWB ha proposto feature di variabilità dei ritmi di sonno e stimato un’associazione tra variabilità della durata del sonno e severità PHQ-8 pari a ρ = 0.252.

Sempre nel dominio mentale, la variabilità di durata e di insorgenza del sonno emerge tra i correlati principali della severità depressiva.

Nel dominio metabolico, il sistema deriva un indice di fitness cardiovascolare definito come passi diviso frequenza cardiaca a riposo: un correlato non invasivo dell’insulino-resistenza.

Il luogo entra nel vettore

Il secondo strato lavora sul movimento. Il framework Mobility-Embedded POIs consente ai modelli linguistici di leggere i ritmi temporali di attività dei luoghi. La rappresentazione testuale di un posto non basta: un bar alle 8 e un bar alle 23 sono due luoghi diversi.

Per costruire questa rappresentazione, ME-POIs incorpora i pattern di mobilità aggregati e anonimizzati — orari di arrivo, durate di permanenza, movimenti circostanti — dentro le rappresentazioni testuali derivate dai modelli linguistici.

Il passaggio architetturale è deciso: la mobilità come feature di input definisce il luogo stesso, invece di essere un target di previsione separato.

Il componente che fa il lavoro sporco è il visit alignment: analizza finestre di arrivo temporali, trend di partenza e durate tipiche, poi mappa le sequenze temporali in uno spazio vettoriale denso fino a stabilire un centroide funzionale.

Per i luoghi con pochi dati arriva il meccanismo di propagazione multiscala delle visite, che guarda la strada, l’isolato e il quartiere, e trasferisce statisticamente i pattern dai vicini ricchi di osservazioni a quelli sparsi.

I test su due aree metropolitane culturalmente distinte — Los Angeles e Houston — indicano che il framework regge fuori da una singola geografia.

Le mani sono il protocollo di interazione

Il terzo strato rende fisica l’interazione. AgentHands è un prototipo XR guidato da LLM che aggiunge gesti espressivi sincronizzati alla conversazione per una guida spazialmente ancorata.

Il sistema non usa una raccolta di animazioni rigide. La tassonomia multidimensionale combina Handedness, Gesture, Spatiality, Temporal Dynamics, Interactivity e Visual Effects.

Il flusso esecutivo di AgentHands mette in fila consapevolezza ambientale, libreria di eventi gestuali, ragionamento con gesti incorporati ed esecuzione XR sincronizzata.

La consapevolezza ambientale usa eye gaze e ricostruzione della scena per registrare gli oggetti fisici in un registro 3D con bounding box.

La libreria di gesti non è caotica: tre categorie semantiche sono deittica, iconica ed espressiva.

Il passaggio tecnico più rilevante è il gesture-embedded reasoning: il modello genera le risposte con GestureEvents inline associati a trigger words. Il gesto nasce nel flusso di token, non in post-produzione.

Le demo non sono decorazioni: gli scenari applicativi spaziano dal tutoring interattivo per la cura delle orchidee ai walkthrough tecnici per stampanti 3D, fino alla companionship quotidiana.

Nel caso dell’orchidea, l’agente porta le mani alla base della pianta e delinea le radici aeree mentre ne spiega la funzione.

Per la stampante 3D, dimostra la sequenza turn and click necessaria a navigare le manopole di controllo e selezionare i file.

Il gesto non è un effetto: è un timestamp nel flusso di output.

Per chi costruisce, il messaggio è operativo: lo stack smette di essere input testuale → output testuale. Diventa una pipeline che interroga serie temporali fisiologiche, embedding di luogo con ritmo e flussi di eventi gestuali. Il corpo entra nell’architettura come sorgente dati con latenza, rumore e risoluzione proprie; ignorarlo significa continuare a produrre modelli che capiscono testi ma non sanno dove si trovano né quando agire.