L’AI ha messo la velocità davanti al pensiero
Google traduce la lingua dei segni, Cloudflare instrada i prompt, NVIDIA seleziona modelli, Liquid AI corre: la latenza zero domina l'AI.
La sfida della latenza unisce Google, Cloudflare, NVIDIA e Liquid AI in una corsa che ridisegna i confini tra pensiero
Immagina di parlare con le mani. Muovi le dita, disegni segni nell’aria, e il tuo telefono li trasforma in parole scritte in inglese, mentre le pronunci. Non c’è pausa, non c’è “elaborazione”. Su un Pixel 11, Gboard e Live Transcribe fanno esattamente questo: la dettatura da lingua dei segni americana (ASL) all’inglese è già realtà, alimentata dal sistema SL2T di Google DeepMind. E la cosa più sorprendente non è che funzioni, ma che lo faccia senza farti aspettare. Il team ha lavorato sodo su latenza di streaming, prevenzione delle allucinazioni, equità per i mancini e firma a una mano sola. Perché in questo gioco, ogni millisecondo conta.
Questa ossessione per l’istante non è un vezzo da laboratorio. È la nuova frontiera su cui si stanno muovendo i giganti del cloud e dei chip.
La rete che legge il tuo prompt per accorciare l’attesa
Cloudflare sta costruendo un instradamento intelligente: un classificatore su Workers AI che analizza il tuo prompt e prevede il tipo di attività — coding, ricerca, riassunto, domande generali — insieme alla complessità e all’importanza del contesto. L’idea è semplice: mandare ogni richiesta al modello giusto, non al più potente, risparmiando secondi preziosi. Lo chiamano un unico piano di controllo per l’AI. Ma qui c’è un dettaglio che fa riflettere: per instradare, la rete deve leggere il tuo messaggio. Chi lo vede? Dove finiscono quei prompt? La velocità ha un prezzo, e a volte si paga in privacy.
Non da meno, NVIDIA ha messo a punto Switchyard, un selettore di modelli che Boomi ha messo alla prova. I risultati? Il 100% di accuratezza nel routing per dominio, con il 59% del traffico dirottato verso un modello specializzato cinque volte più veloce e una riduzione del 21% della latenza sul turno successivo. Lo racconta il blog ufficiale con i risultati di Boomi con Switchyard. Anche qui, l’obiettivo è chiaro: togliere attese, non aggiungere pensiero.
Il modello che ha smesso di pensare per correre
Poi arriva lui, il pezzo forte: LFM2.5-VL-3B, il modello di Liquid AI progettato per il bordo, per i dispositivi. La sua filosofia è stampata nel nome del gioco: la risposta diretta invece del ragionamento. Niente catene di pensiero, niente “fammi riflettere”. Solo output. E i numeri sono impressionanti.
Su un laptop con M5 Max decodifica 228 token al secondo. Su un Ryzen AI Max+ 395 tocca 116 token al secondo. Su uno smartphone Galaxy S26 Ultra arriva a 20 token al secondo. E tutto questo occupando appena 3 GB di memoria. Ma non è finita. Quando lo metti a servire migliaia di richieste in parallelo, la sua produttività è la più alta mai testata: circa 11.000 token al secondo, con un throughput in uscita doppio dei modelli 4B e davanti ai 2B. Su una singola scheda H100 è capace di generare quasi un miliardo di token al giorno. E viene fornito con supporto immediato per llama.cpp, MLX, vLLM, SGLang e ONNX.
E se la fretta diventasse il nuovo standard?
La corsa è appena iniziata. Cloudflare instrada, NVIDIA seleziona, Google traduce, Liquid AI corre. Tutti vogliono eliminare l’attesa. Ma quando un modello decide di non ragionare per rispondere subito, chi garantisce che la risposta sia giusta? La latenza non è l’unico parametro che conta.
Un’AI che non sa fermarsi a pensare può diventare veloce nel dare risposte, ma lenta nel capire il mondo. E mentre i prompt passano attraverso classificatori e selettori, resta aperta la domanda su chi custodisce quei dati. Nei prossimi mesi tenete d’occhio due cose: se questi modelli ultraveloci inizieranno a sbagliare di più quando la domanda è complessa, e se le autorità si muoveranno sulla trasparenza del routing. Perché la velocità è bella, ma un pensiero ogni tanto non guasta.
