Amazon ha vinto la battaglia dei chip per l’AI
Amazon supera i 25 miliardi di dollari con chip custom, Trainium3 offre 5 volte più token per megawatt. Anthropic e OpenAI scelgono Trainium.
La latenza si accumula in modo esponenziale ad ogni chiamata, mentre l’efficienza energetica diventa il nuovo campo di battaglia
Una singola chiamata a tool da 2 secondi, ripetuta tre volte, diventa un collo di bottiglia di 6 secondi.
È il tipo di realtà misurabile con precisione grazie all’osservabilità degli agenti in produzione su Bedrock. E non è l’unico costo nascosto: la stessa analisi mostra che una risposta da 500 token richiede 5 volte il tempo di una da 100 token. In un’architettura ad agenti, dove ogni chiamata a un modello è un anello di una catena, la latenza si accumula in modo esponenziale, divorando margini e pazienza.
Due secondi diventano sei: la tassa energetica del token superfluo
Mentre i benchmark celebrano modelli sempre più grandi, chi costruisce applicazioni reali sa che il tempo di risposta è una funzione lineare della lunghezza dell’output e dei round-trip. Ogni millisecondo in più si traduce in watt consumati. E se l’agente deve connettersi a un catalogo dati per rispondere a una domanda di business, la differenza tra minuti e settimane è la distanza che separa un sistema utile da uno inerte: oggi l’esperienza di catalogo agentico in Amazon Quick riduce quel tempo a minuti, non a settimane.
Questo scenario ha già cambiato le regole della competizione. Non si tratta più di quanti parametri può contenere un checkpoint, ma di quanti token utili escono da un megawattora. In questa metrica, silenziosamente, Amazon ha costruito un vantaggio che i bilanci energetici rendono strutturale.
Token per megawatt: la metrica che ha zittito la corsa ai parametri
Il business dei chip custom di Amazon ha superato un run rate di 25 miliardi di dollari con una crescita a tre cifre anno su anno. Il nuovo processore Trainium3 spinge il differenziale fino a cinque volte più token in output per megawatt rispetto al Trainium precedente, e offre un rapporto prezzo-prestazioni migliorato del 40%. Non sono numeri di laboratorio: sono il fondamento di accordi che ridisegnano la geografia del compute.
«Il nostro run rate dei chip supera i 25 miliardi di dollari. Siamo in una posizione insolitamente forte per questa fase dell’AI, grazie ai chip con il miglior rapporto prezzo-prestazioni sia nell’AI con Trainium, sia nelle CPU con Graviton. Oltre ai due principali laboratori AI al mondo — Anthropic e OpenAI — che hanno preso impegni pluriennali e multi-gigawatt su Trainium, un numero crescente di startup AI sta adottando i nostri chip.»
il CEO di Amazon, Andy Jassy
Anthropic ha siglato un impegno fino a cinque gigawatt di chip Trainium per addestrare ed eseguire i modelli Claude. OpenAI si è assicurata due gigawatt di capacità Trainium su infrastruttura AWS a partire dal 2027. Colossi che fino a poco tempo fa sondavano il mercato: Anthropic stava negoziando impegni multi-gigawatt simultanei su quattro piattaforme hardware separate (Amazon, Google, Microsoft e AMD), prima di convergere in modo quasi esclusivo su Trainium.
A completare il quadro c’è la famiglia Graviton: oltre la metà della nuova potenza di calcolo aggiunta su AWS viaggia su queste CPU custom. L’integrazione verticale trasforma l’infrastruttura in un unico sistema dove ogni ciclo di clock viene contabilizzato.
Un modello da 2.800 miliardi di parametri, ma l’unità di conto resta il joule
Per capire quanto sia già profonda questa trasformazione, basta guardare i carichi di lavoro reali. Kimi K3, un modello Mixture of Experts da 2.8 trilioni di parametri, gira su istanze p6-b300 con 8 GPU B300 Blackwell Ultra e mostra un’efficienza di scaling 2.5x superiore a quella di Kimi K2. Non è una curiosità accademica: è la prova che anche i modelli più estremi si piegano a una sola legge — quella del costo energetico per token utile.
Chi costruisce agenti oggi sa che la progettazione parte da un budget di watt e da una catena di chiamate da comprimere. Ogni tool invocato è un costo in latenza ed energia; ogni token generato oltre lo stretto necessario è uno spreco. La gestione delle GPU inattive, paragonata a una flotta di aerei a terra, diventa il nuovo spreco da eliminare: la gestione delle GPU multi-cloud segnala che l’efficienza allocativa è l’anello debole, non la potenza bruta.
Alla fine, la vera competizione non è fra modelli, ma fra curve di costo. Amazon ha commoditizzato il compute custom e lo sta vendendo a watt, non a parametri. Per chi sviluppa, significa una cosa sola: l’architettura del prossimo agente andrà disegnata misurando la bolletta elettrica, non contando i parametri.
