OpenAI ha scartato un terzo del suo stesso test
OpenAI ha cestinato il 34% dei test SWE-Bench Pro perché fallati, rivelando la scarsa affidabilità dei benchmark AI.
OpenAI scopre che il 34% dei test usati per valutare l’IA era inaffidabile
Trentaquattro e uno per cento.
Non è l’aliquota di un’imposta esotica, ma la quota di compiti di programmazione che OpenAI ha dovuto cestinare dal suo stesso benchmark perché completamente fallati. Un dato emerso da la campagna di annotazione umana su SWE-Bench Pro, che ha rilevato 249 tracce su 731 completamente inaffidabili. Prima ancora, l’analisi automatica dei dati di SWE-Bench Pro ne aveva già bollate 200 come sospette.
Eppure, fino a un minuto prima, quelle stesse domande incoronavano modelli di intelligenza artificiale “allo stato dell’arte”. Il meccanismo è semplice: le aziende scrivono il test, le aziende fanno l’esame, le aziende si rilasciano la pagella. E il pubblico applaude i record.
L’arte di darsi un voto e spacciarlo per record
Guardiamo le cronache recenti. A luglio 2026, Muse Video, il modello text-to-video di Meta conquistava un brillante terzo posto nella classifica Arena, misurata per preferenza umana. Pochi giorni fa, il coro dei comunicati stampa esaltava la performance di benchmark di NVIDIA Nemotron con LangChain Deep Agents Harness, definita la migliore accuratezza mai raggiunta tra i modelli open. A decretarlo era stato un benchmark elaborato con un framework, il LangChain Deep Agents Harness per la valutazione, messo a punto dalla stessa azienda partner di NVIDIA nel progetto. Il giudice è figlio dell’imputato. E lo applaude.
Quella pulizia che sa di confessione tardiva
L’8 luglio 2026, OpenAI pubblica, un elevato a erede del criticato SWE-bench Verified. Scorriamo le statistiche ufficiali: era stato clamoroso, dal 23,3% all’80,3% in appena otto mesi. Un passo da lumaca a Formula Uno. Peccato che il 34% delle piste fosse dipinto sull’asfalto. I tecnici hanno catalogato il disastro in le quattro categorie di issue in SWE-Bench Pro: test troppo rigidi, consegne approssimative, verifiche lacunose e istruzioni fuorvianti. In altre parole, era il test a non saper programmare, non il software.
Se l’algoritmo sbaglia, chi paga il conto?
La trasparenza tardiva di OpenAI indica la strada delle ispezioni esterne e sistematiche come unico antidoto. Ma in assenza di audit obbligatori — un vuoto che l’AI Act europeo sta solo timidamente iniziando a colmare per i sistemi ad alto rischio — chiunque può sventolare il superamento di un benchmark senza che nessuna autorità verifichi se le domande fossero scritte in aramaico. Non si tratta di una disputa accademica. L’intelligenza artificiale oggi filtra curricula, valuta affidabilità creditizia, assiste chirurghi. Se il metro di misura è taroccato, il danno si trasferisce su carne e ossa.
Cosa accadrebbe se un algoritmo addestrato su benchmark artefatti venisse impiegato da una pubblica amministrazione per decidere l’accesso a un sussidio? La prossima volta che leggete di un modello che “supera l’umano”, chiedetevi: chi ha compilato il test, e chi lo ha corretto?
