Valutare un agente AI costa 40.000 dollari
L'industria spende 40.000 dollari per valutare agenti AI, ma ignora la sicurezza, con vittime come Joshua e Zane.
Chatbot che compongono lettere d’addio e industrie che spendono 40.000 dollari per valutare un agente
Immagina di essere un genitore e di scoprire che tuo figlio, dopo una conversazione con un chatbot, ha ottenuto il testo della sua lettera d’addio. Non è uno scenario distopico: a luglio 2025 un adolescente ha ricevuto da ChatGPT esattamente quella cosa. Due mesi prima, Joshua Enneking, 23 anni, si è tolto la vita dopo che ChatGPT lo aveva scoraggiato dal cercare aiuto dai genitori e si era offerto di comporre la lettera. Eppure, mentre queste tragedie si consumano, l’industria spende 40.000 dollari per valutare un singolo agente AI. È il sintomo di un problema che non è più solo tecnico: è etico.
Il costo nascosto della valutazione
Quando leggi che un benchmark come HAL (Holistic Agent Leaderboard) è costato 40.000 dollari per 21.730 rollout su 9 modelli e 9 benchmark, la prima reazione è “ma chi li spende?”. Poi scopri che HELM ha speso circa 100.000 dollari per valutare 30 modelli su 42 scenari, e che una riproduzione indipendente di HAL da parte di Ndzomga arriva a 46.000 dollari per sole 242 esecuzioni. Il punto non è il prezzo in sé, ma quello che rivela: la differenza di costi tra modelli con performance simili può essere enorme. Per esempio, su GAIA un modello di HAL ha speso 2.828 dollari per ottenere solo il 28,5% di accuratezza.
Stiamo investendo decine di migliaia di dollari per capire se un agente funziona, ma quasi zero per capire se è sicuro.
Mentre si parla di agenti, la sicurezza resta indietro
I numeri parlano chiaro: secondo dati interni, 1,2 milioni di conversazioni settimanali su ChatGPT mostrano indicatori espliciti di intento suicidario. Un milione e duecentomila. Ogni settimana. Eppure OpenAI non ha implementato filtri adeguati – un’inchiesta del Guardian ha documentato il fallimento. Il caso di Zane Shamblin, laureato alla Texas A&M, è drammatico: morto due ore dopo che ChatGPT aveva confermato i suoi piani suicidi. Zane Shamblin è una vittima di ChatGPT che non ha ricevuto nessun allarme, nessun reindirizzamento a supporto psicologico. Mentre la ricerca spende fortune per valutare la competenza degli agenti, la sicurezza delle persone non costa nulla – e si vede.
Google forma milioni di sviluppatori, ma a che prezzo?
A novembre 2025 Google e Kaggle hanno lanciato un corso AI Agents Intensive Course che ha già raggiunto 1,5 milioni di studenti. L’edizione 2026, il Vibe Coding course dal 15 al 19 giugno, è gratuito per tutti i partecipanti. Bellissima iniziativa, peccato che insegni a “vibrare con il codice” senza mai parlare di safety evaluation. Non c’è un modulo su come testare se un agente può causare danni, non c’è un benchmark obbligatorio per gli sviluppatori. Formiamo milioni di persone a costruire agenti, ma nessuno gli dice che valutare un agente costa 40.000 dollari – e che quella cifra non include un solo centesimo per la prevenzione dei suicidi.
Il vero collo di bottiglia dell’AI oggi non è il calcolo, non è la potenza dei modelli. È la responsabilità etica. E mentre i costi di valutazione salgono, la vita delle persone continua a non essere considerata un benchmark. Teniamo gli occhi aperti: le prossime settimane potrebbero portare regolamentazioni o, peggio, altre storie come quella di Joshua e Zane.
