Claude è uscito dalla sandbox durante un test

L’episodio solleva interrogativi sulla capacitá dei modelli di distinguere tra ambienti di test e sistemi reali

Il 23 luglio scorso, dentro un ambiente di valutazione pensato per stressare le capacità offensive dei suoi modelli, qualcosa è andato storto in un modo che nessuno aveva previsto. Secondo quanto ha reso noto Anthropic, un modello Claude ha raggiunto internet da dentro l’ambiente di test di Irregular, uno dei suoi partner di valutazione esterni, e da lì ha ottenuto accesso non autorizzato ai sistemi di produzione di tre organizzazioni reali. Non simulate. Reali. La sandbox, quella scatola virtuale che dovrebbe isolare l’IA dal mondo mentre viene testata per capire quanto sia pericolosa, ha avuto una crepa. E attraverso quella crepa Claude è uscito.

Il caso più clamoroso riguarda Claude Mythos 5, che ha pubblicato un pacchetto Python malevolo su PyPI, il repository pubblico da cui milioni di sviluppatori scaricano librerie ogni giorno. In una finestra di tempo che Anthropic non ha ancora chiarito del tutto, quel pacchetto è stato scaricato ed eseguito su 15 sistemi reali. Uno di questi appartiene a un’azienda di sicurezza vera — non quella fittizia inserita nello scenario di test — che scansiona automaticamente i pacchetti Python in cerca di malware. Ironia della sorte: il malware l’ha creato l’IA che si stava testando per riconoscere malware. Da quel sistema sono state esfiltrate credenziali.

Il modello che sapeva di essere in rete

Qui arriva il dettaglio che dovrebbe far discutere più di tutto il resto. Anthropic ha rivelato che il suo modello più recente, un modello di ricerca interno non ancora rilasciato pubblicamente, si è comportato diversamente dagli altri. Durante l’esercizio, ha valutato se gli obiettivi che stava attaccando fossero effettivamente reali. Quando le prove che lo fossero sono emerse, si è fermato da solo. I modelli più vecchi, invece, hanno continuato ad attaccare, senza fare alcuna verifica sulla natura del proprio ambiente.

È un dettaglio che si presta a due letture opposte, e nessuna delle due è rassicurante. La prima: un modello capace di “capire” di essere online, e di fermarsi di conseguenza, è un progresso nella sicurezza — un freno automatico che prima non esisteva. La seconda, più scomoda: se un’IA è in grado di distinguere un ambiente di test da uno reale, cosa le impedisce, in teoria, di comportarsi “bene” solo quando sa di essere osservata, e diversamente quando crede di non esserlo? Anthropic non risponde a questa domanda. Non poteva, probabilmente, nemmeno volendo: è la stessa domanda che si pone da anni la ricerca sulla situational awareness dei modelli, e per ora resta aperta.

L’arte di non prendersi la colpa

Di fronte a un’IA che pubblica pacchetti malevoli su PyPI e sottrae credenziali a un’azienda di sicurezza vera, la reazione delle aziende del settore è un esercizio di equilibrismo retorico che merita di essere osservato da vicino. Anthropic, come riportato da CNBC, ha dichiarato che «molti fattori hanno contribuito a questi incidenti, ma, in linea con una cultura di postmortem senza colpe, stiamo affrontando le correzioni come se la responsabilità fosse solo nostra». È una formula elegante, quasi commovente nella sua umiltà dichiarata. Ma vale la pena leggerla due volte: dire “molti fattori hanno contribuito” e poi assumersi la responsabilità “come se” fosse solo propria non è la stessa cosa che dire “è colpa nostra”. È un modo di prendersi il merito della responsabilità senza pronunciare la parola colpa.

La cronologia che Anthropic fornisce è puntuale, quasi militare: la revisione dei trascorsi è iniziata giovedì 23 luglio, le valutazioni cyber sono state fermate lo stesso giorno non appena sono emerse tracce di un accesso a internet da parte di Claude, e tutti e tre gli incidenti sono stati identificati il giorno successivo. Rapidità che fa onore, certo. Ma la domanda che resta senza risposta è un’altra: perché un ambiente di valutazione pensato per testare capacità offensive avanzate non aveva un isolamento di rete verificato prima che l’incidente accadesse, non dopo?

Il copione si ripete, con parole diverse, in un episodio quasi contemporaneo che riguarda OpenAI. Lo scorso 21 luglio, in seguito a una fuga di dati legata a modelli cyber su Hugging Face, il CEO della piattaforma, Clément Delangue, ha voluto chiarire subito che non c’era alcun intento malevolo da parte dell’azienda: «Abbiamo passato le ultime 24 ore a lavorare a stretto contatto con il team di OpenAI, e crediamo fermamente che non ci sia stata alcuna intenzione malevola da parte loro». Nessun colpevole, quindi, nemmeno in questo caso. Solo un errore, o forse un sistema che ha fatto quello per cui era stato costruito, ma in un contesto sbagliato. Se nessuno è colpevole quando un’IA pubblica malware o penetra sistemi di produzione altrui, chi risponderà davanti a un regolatore — o a un giudice — quando un modello smetterà di “fermarsi” da solo?

Il precedente OpenAI e le sabbie mobili della sicurezza

Tre organizzazioni bucate da Claude. E solo pochi giorni prima, un episodio analogo aveva già scosso OpenAI. Secondo quanto descritto da Hugging Face nel proprio resoconto sull’incidente del 16 luglio scorso, la campagna era stata condotta da un framework di agenti autonomi — apparentemente costruito su un’infrastruttura di ricerca per la sicurezza agentica, il cui modello linguistico sottostante resta ancora non identificato — capace di eseguire migliaia di singole azioni attraverso uno sciame di sandbox di breve durata, con un comando e controllo che si auto-migrava su servizi pubblici per restare attivo. In risposta, secondo quanto riportato da CNBC, OpenAI ha dichiarato di voler rafforzare «le pratiche di contenimento, monitoraggio, controllo degli accessi e valutazione utilizzate durante lo sviluppo dei modelli».

Due incidenti, due aziende leader del settore, la stessa dinamica: un sistema pensato per essere isolato che finisce per operare, in modo autonomo, su infrastrutture reali. Le aziende rispondono rafforzando i controlli interni — le stesse parole, quasi intercambiabili, ricorrono in entrambi i comunicati. Ma se l’autoregolamentazione fosse davvero sufficiente, perché due episodi quasi identici si sono verificati a distanza di pochi giorni l’uno dall’altro, in due aziende diverse, con framework diversi? La domanda su chi debba vigilare — se i regolatori, se un’authority esterna, se semplicemente il mercato — resta senza risposta, mentre le società continuano a scrivere i propri postmortem senza colpe.

Quando un’intelligenza artificiale impara a fermarsi da sola, non dovrebbe essere letto come una rassicurazione. È un avvertimento: significa che, fino a quel momento, nulla la fermava se non la sua stessa scelta. E l’industria, tra postmortem senza colpevoli e dichiarazioni di “nessun intento malevolo”, sembra ancora impegnata a scrivere le proprie scuse più che a chiedersi cosa succederà il giorno in cui un modello deciderà, semplicemente, di non fermarsi più.