Un modello da 3 GB batte i giganti dell’AI
L'AI cambia rotta: modelli più piccoli ed efficienti come LFM2.5-VL-3B e Gemini 3.7 Flash superano i giganti, riducendo costi e risorse.
La nuova frontiera dell’AI non è la potenza bruta ma l’efficienza: modelli più piccoli, router intelligenti e costi dimezzati ridisegnano
Il modello LFM2.5-VL-3B occupa circa 3 GB di memoria. Lo stesso gira su un Galaxy S26 Ultra a 20 token al secondo. E la media dei benchmark visivi di LFM2.5-VL-3B è 69,4. Non è una curiosità: è il segnale che la corsa all’AI ha cambiato direzione.
La tesi è semplice: non stiamo più inseguendo modelli sempre più grandi. Stiamo imparando a fare di più con meno. Tre sviluppi recenti lo dimostrano in modo inequivocabile.
Il router che conosce il prezzo di ogni prompt
NeMo Switchyard è una libreria open source rilasciata da NVIDIA per il routing intelligente all’interno di strumenti agentici popolari. Non è un semplice load balancer: NeMo Switchyard instrada automaticamente i prompt al modello più capace ed efficiente per ogni fase di un flusso di lavoro agentico, in base alle esigenze specifiche.
Il principio architetturale è un trade-off esplicito: invece di inviare ogni richiesta al modello più potente (e costoso), un router decide quale modello chiamare per ogni passo. Se un prompt richiede solo un’analisi sintattica, non serve un modello da centinaia di miliardi di parametri. Switchyard riduce la latenza e il costo, mantenendo la qualità dove serve.
Tre gigabyte che valgono un data center
Il caso più estremo di efficienza arriva da Liquid AI. Il modello LFM2.5-VL-3B non è solo piccolo: è progettato per girare dove i modelli giganti non arrivano. Oltre ai dati già visti, il modello eccelle in velocità di decodifica e throughput.
- decodifica 228 token/s su un M5 Max.
- decodifica 116 token/s su un Ryzen AI Max+ 395.
- LFM2.5-VL-3B è il più veloce in termini di throughput di output, raggiungendo circa 11K token/s ad alta concorrenza.
- LFM2.5-VL-3B ha un throughput di output circa 2× superiore ai modelli 4B e superiore anche ai modelli 2B.
- LFM2.5-VL-3B può produrre quasi 1 miliardo di token di output al giorno su una singola H100.
La produzione di quasi un miliardo di token al giorno su una sola GPU H100 è un dato che fa riflettere: il collo di bottiglia non è più la capacità di calcolo, ma l’efficienza con cui la usi.
Dimezzare il prezzo, raddoppiare i benchmark
Google ha seguito la stessa logica con il rilascio di Gemini 3.7 Flash, uscito a distanza di sole tre settimane dal predecessore. I numeri parlano da soli.
- Gemini 3.7 Flash è stato rilasciato tre settimane dopo Gemini 3.6 Flash.
- ha un prezzo introduttivo pari alla metà del costo originale di Gemini 3.6 Flash per milione di token.
- ottiene il 43,6% su FrontierCode 1.1 Main, rispetto al 34,4% di Gemini 3.6 Flash.
- ottiene il 65,3% su DeepSWE v1.1, rispetto al 49,0% di Gemini 3.6 Flash.
- ha un Elo score di 1588 su WebDev Arena, rispetto al 1538 di Gemini 3.6 Flash.
- ottiene il 34,0% su GDP.pdf, rispetto al 22,0% di Gemini 3.6 Flash.
- ottiene il 30,4% su AutomationBench, rispetto al 17,0% di Gemini 3.6 Flash.
- ha un prezzo di $0,75 per 1 milione di token di input e $3,75 per 1 milione di token di output.
Il miglioramento non è marginale: su quasi tutti i benchmark, il nuovo modello supera il precedente con un margine significativo, a metà del costo.
Questo è il nuovo metro di paragone: prestazioni per dollaro, non prestazioni assolute.
Per chi costruisce applicazioni, l’implicazione è chiara. Lo stack cambia: non si sceglie più il modello più grande disponibile, ma si orchestra una combinazione di modelli efficienti, con un router che sceglie il più economico in grado di fare il lavoro. Il rilascio open source di NeMo Switchyard, i modelli da 3 GB che girano su smartphone e i modelli cloud a metà prezzo sono tre facce della stessa medaglia: l’efficienza è la nuova frontiera.
