I modelli locali stanno battendo la pubblicità
Liquid AI presenta DSpark, tecnica di speculative decoding che porta LFM2.5 a 140 token/s su MacBook, riducendo la latenza del 57%. Modelli draft disponibili su Hugging Face.
L’inferenza locale accelera mentre OpenAI porta la pubblicità nei piani gratuiti di ChatGPT in 31 paesi
Ieri sera ho chiesto a un modello locale di rispondere a una mail mentre il MacBook era in modalità risparmio energetico. La frase era completa prima che alzassi lo sguardo. Non è un’esagerazione: su MacBook, la velocità di inferenza dell’LFM2.5-2.6B raggiunge circa 140 token al secondo.
Il merito è di DSpark, una tecnica di speculative decoding che Liquid AI ha appena dettagliato. In sintesi: un modello “draft” più piccolo e veloce abbozza la risposta, il modello principale la verifica in blocco. Per LFM2.5-2.6B, la riduzione media della latenza di function-calling è del 57%. Ma come si decide quanto fidarsi del draft? Il processo di addestramento dei modelli draft prevede 15 epoche sull’intero dataset, selezionando l’epoca con il più alto tasso di accettazione. E i numeri non vengono da un banco di prova improvvisato: le misurazioni su singola H100 in BF16 sono state fatte con SGLang.
Centoquaranta token al secondo: quando il lusso diventa la normalità
I numeri più sorprendenti arrivano dai modelli più piccoli. Per LFM2.5-1.2B-Instruct, i guadagni di velocità sono in media 2.10x su H100 (da 656 a 1384 token/s) e 2.54x su M4 Max (da 138 a 350 token/s). Significa che un chip consumer di fascia alta ora elabora testo più velocemente di quanto la maggior parte delle persone riesca a leggere.
Anche il modello più grande testato, LFM2.5-8B-A1B, regge bene: i risultati su hardware consumer mostrano uno speedup medio di 2.54x su H100 (da 418 a 1074 token/s) e 1.18x su M4 Max (da 90 a 106 token/s). Non è un caso isolato.
La parte interessante è che tutto questo è già scaricabile. I checkpoint dei modelli draft DSpark sono disponibili su Hugging Face in formato Safetensors e GGUF. Nessun server remoto obbligatorio, nessun token di accesso a pagamento.
Solo un file e un computer.
OpenAI accende gli annunci in Europa, mentre i modelli locali accelerano
Nel frattempo, OpenAI ha annunciato che l’espansione di ChatGPT Ads in Europa coinvolgerà 31 paesi, tra cui Germania, Francia, Spagna, Italia, Svezia, Norvegia, Danimarca, Paesi Bassi e Austria. La pubblicità arriverà solo per gli utenti dei piani Free e Go, mentre Plus, Pro ed Enterprise resteranno senza ads, come precisa la disponibilità degli annunci sui piani Free e Go.
E non è un esperimento timido: decine di migliaia di marketer hanno già pubblicizzato su ChatGPT, secondo i numeri degli inserzionisti su ChatGPT. La macchina pubblicitaria è già in moto.
La vera partita non è l’attenzione, ma la memoria
C’è però un dettaglio che stride. OpenAI offre Zero Data Retention per clienti API idonei: dopo l’elaborazione, prompt e risposte non vengono conservati. È una garanzia importante, ma vale solo per chi paga un certo tipo di contratto API, non per chi usa ChatGPT gratuito con la pubblicità.
Qui sta il cortocircuito: se un modello piccolo gira in locale alla velocità di lettura, e i suoi checkpoint sono a portata di download, perché dovrei accettare annunci e potenziali tracce dei miei prompt? Il futuro non è scritto. Tenete d’occhio i prossimi modelli draft di Liquid AI e la reazione di OpenAI. Se l’inferenza locale diventa davvero abbastanza economica e veloce, la pubblicità potrebbe smettere di essere il prezzo da pagare. O forse diventerà solo un ricordo.
