I costi nascosti dell’AI stanno riscrivendo le priorità

Il costo per token diventa la metrica chiave per progettare agenti AI sostenibili

Ogni volta che un agente AI chiama una funzione, compila una risposta o esegue un tool call, consuma token. Non solo quelli della richiesta e della risposta finale: ogni passo di ragionamento interno, ogni verifica intermedia, ogni retry su un’azione fallita moltiplica il conto. È un costo silenzioso che i dashboard di monitoraggio tradizionali non mostrano, ma che sta riscrivendo le priorità di chi costruisce sistemi enterprise.

Il problema non è più far ragionare il modello, ma farlo ragionare senza far saltare il budget.

Il costo nascosto dietro ogni tool call

I team di sicurezza di Google lo hanno visto per primi. Nel documento che descrive la sicurezza degli agenti AI, le metriche critiche per misurare le prestazioni non sono solo accuratezza: sono copertura (quanto traffico viene monitorato), recall (quanti comportamenti disallineati vengono catturati) e tempo di risposta. Tre variabili che, combinate, definiscono il costo effettivo per token di ogni operazione. Se un agente impiega 3 secondi e 400 token per decidere di non fare nulla, quel “non fare nulla” ha un prezzo.

Il problema si amplifica quando si scala. L’ottimizzazione GPU di Criteo, per esempio, libera circa 17.000 ore GPU all’anno semplicemente riprogettando il flusso di inferenza: meno token sprecati, meno chiamate ridondanti, meno overhead di orchestrazione. Non è un caso isolato. Sulla stessa piattaforma, le soluzioni marketing AI dei partner NVIDIA vengono usate da quasi 400 aziende della Fortune 500 per creare campagne. Il denominatore comune è che il costo dell’inferenza ha smesso di essere un costo marginale ed è diventato una voce di bilancio strategica.

I benchmark premiano chi spende meno token

La risposta della comunità open source è arrivata sotto forma di metriche più trasparenti. Hugging Face ha rilasciato il benchmark agentic di Hugging Face, che misura match percentage, tempo mediano, token mediani e percentuale di esecuzioni con errore. L’idea è semplice: non basta che un agente completi il task, deve farlo con il minimo costo in token. I primi risultati sono netti: gli agenti che utilizzano l’efficienza token di hfCLI hanno consumato da 1,3 a 1,8 volte meno token, con punte fino a 6× in scenari di tool calling complessi. È un vantaggio che non dipende dal modello sottostante, ma dall’architettura del flusso di ragionamento.

Il trade-off è evidente: ridurre i token significa comprimere il ragionamento, sacrificare la profondità esplorativa per la velocità. Ma nei contesti enterprise, dove ogni decimo di secondo e ogni token fuori budget contano, l’efficienza diventa la variabile discriminante tra un agente che si può mettere in produzione e uno che resta una demo.

OpenAI risponde con la contabilità dei token

Anche i vendor lo hanno capito. Il 18 giugno 2026 OpenAI ha lanciato i controlli di spesa ChatGPT Enterprise, che includono credit usage analytics e limiti configurabili per team e progetti. La novità non è tanto il cruscotto, quanto la granularità: ogni agente, ogni tool call, ogni finestra di contesto lunga viene tracciata e confrontata con un budget definito a priori. Gli utenti possono vedere la visualizzazione crediti e budget in tempo reale e richiedere crediti aggiuntivi quando necessario. È un meccanismo che trasforma il consumo di token da variabile tecnica a variabile finanziaria, con implicazioni dirette su come si progettano gli agenti.

Per chi costruisce oggi, la lezione è chiara: l’adozione reale dell’AI enterprise non passa dalla potenza bruta dei modelli, ma dalla capacità di controllare il costo per round di ragionamento. I nuovi benchmark premiano chi sa fare di più con meno token, e i nuovi controlli di spesa trasformano ogni scelta architetturale — dal numero di tool disponibili alla profondità del chain-of-thought — in una decisione di budget. Costruire un agente significa ormai ottimizzare un vincolo: quello del conto token.