La startup di Mira Murati risponde in 0,40 secondi

La startup di Mira Murati batte i colossi con 0,40 secondi di latenza

Zero virgola quaranta secondi. Il tempo di un battito di ciglia, forse meno. Mentre OpenAI e Google continuano a sfornare assistenti vocali sempre più loquaci e sempre più simili a interlocutori umani, una startup nata dalle ceneri di un addio clamoroso ha appena piazzato il silenzio più rumoroso del mercato dell’intelligenza artificiale. Secondo quanto racconta il blog tecnico di Thinking Machines Lab, il suo nuovo modello TML-Interaction-Small risponde in 0,40 secondi durante una conversazione vocale. Non è un dettaglio da laboratorio: è la dimostrazione che, nella corsa ai chatbot vocali, la vera domanda non è più cosa dice l’AI, ma quanto ci mette a rispondere. E in questo caso, la risposta più veloce viene da chi ha già lavorato dall’altra parte del tavolo.

La sfida silenziosa di Thinking Machines

Dietro quel battito di ciglia si nasconde una guerra combattuta a colpi di millisecondi e micro-turni, di quelle che raramente finiscono sui titoli dei giornali ma che decidono chi useremo davvero per parlare con una macchina. I numeri diffusi lo scorso maggio da Thinking Machines Lab parlano chiaro: il modello TML-Interaction-Small ottiene un punteggio di 77,8 su FD-bench V1.5, il benchmark che misura la qualità dell’interazione audio, un’accuratezza del 64,7% su TimeSpeak, dell’81,7% su CueSpeak e un mIoU del 32,4% su Charades. Ma è sulla latenza che il confronto diventa impietoso per i concorrenti più blasonati: sempre su FD-bench V1, secondo quanto riportato da The Batch di DeepLearning.AI, TML-Interaction-Small risponde appunto in 0,40 secondi, contro gli 0,57 di Gemini-3.1-flash-live-preview impostato su ragionamento minimo e l’1,18 di GPT-Realtime-2, sempre in modalità di ragionamento minimo. Quasi tre volte più lento, quest’ultimo, rispetto alla piccola startup. Ma cosa c’è dietro queste cifre? Chi ha progettato un’architettura capace di ribaltare la classifica proprio nel momento in cui i colossi si affannano a lanciare le proprie versioni “live”?

Il fantasma di Mira Murati

Dietro i numeri c’è una mente già nota al mondo dell’intelligenza artificiale: Thinking Machines Lab è la startup fondata da Mira Murati, ex direttrice tecnica di OpenAI. C’è qualcosa di quasi ironico nel fatto che oggi la sfidante più temibile per i suoi ex datori di lavoro non punti sulla mole di parametri o sull’eloquenza dei suoi modelli, ma sulla capacità di stare zitta al momento giusto. La chiave tecnica sta in un’architettura diversa da quella su cui sono cresciuti i chatbot vocali finora: i modelli di interazione basati su turni vedono una sequenza alternata di token — io parlo, tu parli — mentre i modelli “time-aware” come quelli di Thinking Machines vedono un flusso continuo di micro-turni, dove silenzio, sovrapposizione e interruzione restano parte del contesto del modello invece di essere semplicemente ignorati o tagliati fuori. Per garantire questa reattività in tempo reale, l’azienda ha adottato quello che definisce un design multi-stream a micro-turni, con elaborazione parallela di flussi audio, video e testo. Un’architettura elegante sulla carta. Ma la domanda vera è un’altra: questi modelli sono davvero pronti per il mondo reale, o restano fenomeni da laboratorio costruiti su misura per un benchmark?

Oltre la velocità: allenatori, chirurghi e silenzi imbarazzanti

Se i benchmark promettono reattività, la vera prova sta nei contesti dove un secondo di troppo può costare caro. Non sono scenari da fantascienza: secondo quanto osservato da The Batch, modelli capaci di ascoltare, vedere e rispondere in tempo reale aprono a interazioni impossibili per i sistemi tradizionali a turni, come l’allenamento sportivo o il monitoraggio durante un intervento chirurgico. Immaginate un sistema che segue un atleta durante una serie di ripetizioni e interviene esattamente nel momento in cui il gesto sbaglia, non un secondo dopo, quando l’errore è già cronico. Oppure un assistente che osserva un’equipe chirurgica e segnala un’anomalia mentre accade, non quando il bisturi ha già finito il suo lavoro. In questi contesti, 0,40 secondi contro 1,18 non è una differenza da appassionati di specifiche tecniche: è la differenza tra un’assistenza utile e una inutile, o peggio, pericolosa.

Eppure resta un nodo che nessun benchmark, per quanto sofisticato, sembra sciogliere davvero: la capacità di interpretare correttamente sovrapposizioni, interruzioni e soprattutto silenzi. Un modello che “ascolta continuamente” e mantiene il silenzio nel proprio contesto non equivale automaticamente a un modello che capisce cosa significhi quel silenzio. Chi lavora con persone reali — allenatori, medici, insegnanti — sa che una pausa può significare esitazione, riflessione, imbarazzo o semplicemente distrazione, e che confonderle porta a conseguenze molto diverse tra loro. I dati diffusi da Thinking Machines misurano la reattività e in parte l’accuratezza semantica, non la capacità di leggere l’intenzione dietro il non detto. E qui la corsa ai millisecondi rischia di somigliare a una gara truccata: si misura ciò che è facile misurare, la latenza, non ciò che davvero conta, la comprensione. Nel frattempo la concorrenza non sta a guardare: appena una settimana fa OpenAI ha presentato GPT-Live, basato su un’architettura full-duplex che permette al modello di ascoltare e parlare simultaneamente, segno che anche i big hanno capito dove si sta spostando la battaglia. Ma potrà mai un modello, per quanto veloce, distinguere davvero un silenzio pieno di significato da uno vuoto di idee?

La velocità di risposta è solo il primo gradino di una scala molto più alta. La vera sfida, quella che nessun benchmark riassume in una cifra, è l’intelligenza del contesto: capire non solo quando rispondere, ma se conviene farlo, e cosa significhi davvero quel mezzo secondo di silenzio dall’altra parte. Forse, in un mondo dove tutti — startup, colossi, assistenti vocali — sembrano gareggiare a chi parla per primo, chi impara davvero ad ascoltare ha già vinto qualcosa. Oppure è proprio quel battito di ciglia, quei 0,40 secondi diventati il nuovo trofeo di settore, a ricordarci che la macchina, per quanto rapida, non batte ancora l’umano dove conta davvero: nell’interpretare ciò che non viene detto.