Il prezzo per token non regge più
La quantizzazione NVFP4 e i sistemi NVIDIA Vera Rubin riducono i costi per token. GPT-5.6 su Terminal-Bench taglia i costi dell'82%.
La compressione a 4 bit e l’inferenza cross-region spostano il valore dal singolo modello alla gestione dei flussi di lavoro
La compressione dei pesi a 4 bit non è più una mossa per modelli di fascia bassa, ma la prima crepa nell’economia del prezzo per token. Con la quantizzazione NVFP4, i pesi di modelli addestrati in FP8 o BF16 vengono schiacciati a 4 bit, riducendo la banda e l’energia necessarie per ogni inferenza.
Il risultato si misura prima in megawatt, poi in centesimi.
Il megawatt non mente
I sistemi NVIDIA Vera Rubin NVL72 spingono l’efficienza oltre il singolo acceleratore: sui carichi agentic consegnano fino a 30 volte il throughput per megawatt rispetto ai GB300 NVL72 (l’efficienza di NVIDIA Vera Rubin NVL72 per gli agenti AI). Lo stesso moltiplicatore emerge sul modello DeepSeek V4 Pro (). Non è una coincidenza: significa che il collo di bottiglia si sposta dall’hardware alla capacità di gestire potenza, rack e carichi.
Qui entra in gioco la gestione a più livelli. Le tecnologie NVIDIA DSX MaxLPS orchestrano potenza a livello di GPU, rack e workload, consentendo di provisionare fino al 40% di GPU in più nello stesso budget di megawatt. In pratica, il data center non è più un vincolo fisso: diventa un orchestratore di risorse con margini variabili.
E il costo unitario segue la stessa curva. Vera Rubin NVL72 promette fino a 35 volte in meno per milione di token rispetto a GB300 NVL72 (). Il prezzo per token, come metrica isolata, comincia a perdere significato.
Il prezzo per token è un’illusione
Dall’altro lato del mercato, il testing su Terminal-Bench 2.1 mostra che GPT-5.6 Terra completa compiti in Kiro con una riduzione dei costi di circa l’82%. Non è semplicemente un modello più economico: è lo stesso carico di lavoro eseguito a una frazione del costo precedente, senza cambiare la qualità del completamento.
Amazon Bedrock ha esteso l’inferenza cross-Region per i modelli GPT-5.6 a più di 25 regioni AWS. L’inferenza cross-region smista le richieste tra regioni per aggirare i picchi di carico e ridurre la latenza percepita: un ulteriore colpo all’idea che il costo debba essere legato a una singola istanza o a una singola regione.
“Portando la famiglia GPT-5.6 in Kiro, gli sviluppatori guadagnano più margine per abbinare intelligenza, velocità e costo a ogni fase del ciclo di vita dello sviluppo software. Insieme ad AWS, aiutiamo i team a ottenere di più da ogni dollaro investito in AI e a muoversi più velocemente quando il tempo conta.”
Colleen Kapase, vicepresidente delle partnership strategiche globali di OpenAI, mette il dito sul punto: non si tratta di comprare token a prezzo più basso, ma di posizionare carichi diversi su profili di costo, latenza e capacità diversi.
Chi possiede lo stack, possiede il margine
Il crollo del costo unitario ha una conseguenza architetturale: il valore si sposta dal singolo modello alla capacità di integrare flussi di lavoro. Lo stesso grafo di gr.Workflow come API REST può essere distribuito con un comando su Hugging Face Spaces. Ogni workflow costruito è anche un’API senza lavoro extra: ogni output diventa un endpoint REST nominato dopo la sua etichetta. Chi compra modelli paga il token; chi possiede il workflow controlla il margine.
