La misurazione dell’IA ha preso una strada sbagliata
Mentre NVIDIA e OpenAI competono su efficienza e costi, Google DeepMind propone un framework cognitivo per misurare il progresso verso l'AGI, evidenziando la necessità di metriche qualitative.
La corsa all’efficienza rischia di far perdere di vista la qualità del ragionamento e la robustezza dei modelli
Mentre il ciclo di hype dell’IA si riavvolge su se stesso, il dibattito pubblico resta incollato a benchmark di dimensioni e costi per token, una metrica che dice sempre di più su sempre meno. La vera architettura su cui si costruisce il futuro, però, è un’altra: il sistema di misurazione stesso.
Prendete l’ultima mossa di NVIDIA con Nemotron 3 Nano su Amazon Bedrock. Non è solo un modello “nano” da 4 miliardi di parametri, come dettagliato nel blog tecnico di Hugging Face. È l’ottimizzazione di un’intera pipeline per un singolo KPI aziendale: il costo inferiore per inferenza. Lo stesso gioco si vede nel contrattacco di OpenAI con precisione ed economia, dove i nuovi modelli mini e nano vengono promossi per performance “end-to-end” e costi vantaggiosi, come confermato dal CTO di Hebbia e dai dettagli sui prezzi dell’API GPT-5.4 mini.
Il Benchmark che Manca: Ottimizzare per Cosa?
Il problema non è la ricerca dell’efficienza. È che queste metriche da contabile—token in ingresso, token in uscita, pass rate su SWE-Bench—diventano l’unico obiettivo di ottimizzazione. Il modello è bravo se ottiene un 54.4% su SWE-Bench Pro? Forse. Ma quel numero non misura la robustezza del ragionamento, l’eleganza del codice, la capacità di astrazione su problemi nuovi. Misura la capacità di risolvere issues di GitHub in un formato specifico.
Questa miopia quantitativa non è solo un problema dell’IA. È il medesimo vizio del marketing digitale, dove la corsa è a misurare e attribuire ogni singolo click. L’acquisizione di INCRMNTAL da parte di Smartly per misurare l’incremento reale ne è l’emblema perfetto: una piattaforma che, sebbene integri dati per l’incremento reale delle campagne e gestisca oltre un miliardo di dollari di spesa, rischia di far credere che il valore di una campagna sia riducibile al suo “incremento” misurabile, tralasciando tutto ciò che non è immediatamente conversionale.
DeepMind Prova a Disegnare la Mappa, Ma Servono Nuove Bussole
Qualcuno prova a uscire dalla trappola. Il tentativo più strutturato arriva da Google DeepMind, che ha pubblicato un framework cognitivo per misurare il progresso verso l’AGI. Il paper non elenca parametri o FLOPS, ma dieci abilità cognitive chiave come la metacognizione e le funzioni esecutive. È un cambio di paradigma necessario: passare dal misurare l’output di un compito al valutare i processi mentali che lo abilitano.
Tuttavia, anche qui il diavolo è nei dettagli implementativi. Come si quantifica la “cognizione sociale” in un modello di linguaggio? Con quale benchmark si misura la qualità dell’attenzione, non solo la sua presenza? Il rischio è che anche queste abilità qualitative vengano presto ridotte a una nuova serie di score numerici, da massimizzare in modo miope.
Implicazioni per lo Stack: Serve Logica, Non Solo Log
Per chi costruisce, la sfida non è aggiungere un altro strumento di monitoring. È progettare sistemi di valutazione che siano parte integrante dell’architettura del modello, non un post-processo. Significa instrumentare il training loop non solo per tracciare la loss, ma per campionare e valutare la coerenza del ragionamento attraverso layer intermedi.
L’alternativa è uno stack tecnico schizofrenico: da un lato modelli che generano testo apparentemente complesso, dall’altro metriche che valutano solo la superficie. È come ottimizzare un motore a reazione per il decibel, non per la spinta. Finiremo con sistemi rumorosissimi che non si sollevano da terra.
La prossima rivoluzione non sarà nel numero di parametri, ma negli strumenti che usiamo per capire cosa quei parametri hanno veramente appreso. E per ora, quelli che abbiamo sono spaventosamente inadeguati.
