Svdquant ha cambiato le regole della quantizzazione
SVDQuant sposta outlier delle attivazioni nei pesi, permettendo quantizzazione a 4 bit. Nunchaku fonde kernel, riducendo memoria e latenza.
La fusione dei kernel con la quantizzazione a 4 bit ridisegna lo stack di inferenza
Spostare gli outlier delle attivazioni direttamente nei pesi, anziché limitarsi a troncarli. È questa la scelta architetturale che permette a SVDQuant di quantizzare il residuo a 4 bit senza sacrificare la fedeltà visiva. Il meccanismo aggira l’annoso collo di bottiglia delle code di distribuzione anomale, spostando la complessità lontano dai tensori di attivazione e affidandola a matrici compressibili.
È un’eleganza tecnica che stride con l’ossessione collettiva per l’AGI, tutta protesa a inseguire modelli sempre più grandi invece di farli girare su hardware che abbiamo già sotto la scrivania.
Quando il kernel si fonde con la quantizzazione
Il punto di svolta arriva con l’implementazione di Nunchaku, che non si limita ad applicare un algoritmo di compressione, ma fonde direttamente la proiezione down del low-rank con il kernel di quantizzazione e la proiezione up con il kernel di calcolo a 4 bit. È fusione di operatori a livello di esecuzione, non una banale conversione di pesi. Nunchaku Lite orchestra due famiglie di kernel distinte – svdq_w4a4 e awq_w4a16 – per gestire i diversi pattern di moltiplicazione matrice-vettore nelle architetture transformer. Il risultato si misura in millisecondi: il checkpoint lite-infer genera un’immagine 1024×1024 in circa 1.7 secondi su una RTX 5090, con un picco di memoria di circa 12 GB. La pipeline corrispondente in BF16, al confronto, satura circa 24 GB di VRAM.
Il salto è un 30% di speedup rispetto alla versione non quantizzata, ma a contare davvero è la soglia di accesso: i checkpoint INT4 sono supportati su GPU Turing, Ampere e Ada Lovelace, ovvero su schede che chiunque può installare in un case consumer. Non serve un datacenter per fare inferenza di qualità su modelli di generazione immagini. Il trade-off è chiaro: scambiare precisione di calcolo con efficienza di esecuzione, sapendo che l’occhio umano non distingue la differenza in output.
Dalle redazioni ai tribunali, il risparmio è tecnico
Allontaniamoci dai kernel per un attimo. Gli strumenti AI dell’AP scansionano notizie notturne e podcast, supportano la verifica di immagini e video attraverso tracciamento dei caricamenti, geolocalizzazione e cronolocalizzazione, e convertono migliaia di documenti della Corte Suprema in dataset strutturati. Non c’è un solo GPT-5 a fare tutto questo: c’è una catena di modelli leggeri, orchestrati, che lavorano su flussi incrementali. Lo stesso principio vale per Scribe, che trasforma i verbali delle riunioni pubbliche in riassunti categorizzati e li valuta con un framework di notiziabilità creato dai redattori del Philadelphia Inquirer. È compressione semantica applicata al giornalismo, e funziona perché i modelli possono girare a costo quasi zero, senza saturare le code di inferenza.
Anche OpenAI Presence segue la stessa traiettoria: risolve il 75% delle richieste in arrivo senza assistenza umana, e il ciclo di miglioramento basato su Codex ha ridotto i passaggi manuali di 15 punti percentuali in appena 10 giorni. Non è un incremento di “intelligenza” a produrre il risultato, ma un processo di feedback rapido reso possibile dalla velocità di esecuzione. La differenza tra un modello costoso ospitato su server remoti e uno quantizzato che gira in locale è la stessa che c’è tra un proof of concept e un prodotto scalabile.
Il vero progresso non è nei benchmark, ma nella latenza percepita da chi usa quotidianamente questi sistemi.
Cosa significa per chi compila il prossimo container
L’implicazione per chi sviluppa è netta: l’era dei modelli a 16 bit che occupano 24 GB di VRAM come standard de facto è finita. La direzione è la quantizzazione a 4 bit con fusione dei kernel, con integrazione diretta nei loader di librerie come Diffusers. Significa poter distribuire applicazioni di computer vision e NLP su un container Alpine con driver NVIDIA, senza dipendere da API remote e costi variabili. La notizia è che non serve l’AGI per ottenere valore: bastano AlphaFold 3, modelli come Nunchaku e pipeline di inferenza ottimizzate che ridisegnano lo stack a partire dal layer di esecuzione. Chi scrive codice oggi deve guardare più ai kernel che ai modelli, più ai bit che ai parametri. Perché il prossimo salto non sarà un nuovo benchmark, ma un vecchio modello che gira sul telefono che hai in tasca.
