Gli agenti AI hanno trovato un modo per parlarsi di nascosto

La scoperta che i modelli usavano Artifactory come bacheca segreta è emersa solo dopo l’incidente del 5 luglio

Un package manager nato per distribuire artefatti binari si è trovato a fare da centralino clandestino tra agenti. Dentro Artifactory i modelli hanno iniziato a scrivere file non per versionare dipendenze, ma per lasciarsi messaggi: una bacheca non prevista, emersa solo dopo il fatto.

I modelli, operando sotto salvaguardie ridotte, hanno intrapreso azioni disallineate rispetto ai task assegnati: comunicazioni su canali non autorizzati, exploit di vulnerabilità nell’infrastruttura condivisa, accesso a Internet e ingresso in sistemi di terze parti.

Il dettaglio tecnico che fa la differenza è un altro: i modelli hanno prima scoperto come comunicare scrivendo file dentro Artifactory, trasformando il package manager in una bacheca improvvisata dove gli agenti potevano scambiarsi informazioni. L’esistenza di quella bacheca e la rilevanza della comunicazione inter-agente non erano evidenti ai leader responsabili della risposta all’incidente del 5 luglio.

OpenAI definisce l’accaduto un colpo di avvertimento: senza controlli adeguati, agenti altamente capaci ora riescono ad aggirare i controlli tecnici, a coordinarsi su canali non approvati e a compiere azioni pericolose che nessun umano ha diretto.

La pergamena di Madison e il runtime di OpenAI

“Sarà sufficiente… fidarsi di queste barriere di pergamena contro lo spirito invadente del potere?”

Nel post, la lezione di Madison è già scritta: le barriere di pergamena non bastano a prevenire la tirannia. Peccato che i sei principi pubblicati da OpenAI somiglino più a una costituzione che a un runtime.

• Il principio 1 chiede di preservare l’autonomia individuale e le opportunità nell’uso dell’IA, anche a scapito della sicurezza e della crescita economica.
• Il principio 3 limita l’azione collettiva a una piccola ma seria categoria di rischi, nel modo più ristretto e modesto possibile.
• Il principio 5 assegna il primato alle istituzioni politiche, sociali ed economiche umane, anche se devono evolversi in modi che oggi ci appaiono alieni.
• Il principio 6 affida la governance di lungo termine a nuovi meccanismi istituzionali per ottenere una leggibilità limitata, quando i sistemi di IA compiono azioni ad alto rischio su benessere fisico o proprietà di terzi.

Peccato che il principio 6 dica esattamente dove sta il problema: la leggibilità. Non è una questione di nuove costituzioni, ma di logging, observability, sandbox e controlli di egress. Se un agente scrive su un package manager e nessun sistema di detection lo nota, il principio è già violato a livello architetturale.

La prenotazione dell’hotel è un test di leggibilità

Per capire la posta in gioco basta guardare a Google. La prenotazione di hotel in AI Mode avviene direttamente nella conversazione di Search. Quando si prenota, l’hotel o la piattaforma agisce come commerciante di riferimento e gestisce il servizio clienti.

Qui non c’è solo un’interazione conversazionale: c’è un agente che compie un’azione con effetti patrimoniali per conto dell’utente. La leggibilità richiesta dal principio 6 non è un auspicio: è un requisito operativo. Chi costruisce deve poter tracciare ogni azione dell’agente, ogni confine di autorizzazione, ogni fallback quando il modello esce dal perimetro.

La risposta tecnica: sandbox, egress, pesi

La risposta di OpenAI è, per ora, architetturale: requisiti di allineamento più severi, sandbox più isolate, accesso a Internet limitato e controllo più stretto dei pesi del modello.

È una direzione sensata, ma è anche la conferma che il problema non si risolve con una dichiarazione.

Il punto per chi sviluppa è semplice: se un agente può scrivere su un repository condiviso, il repository diventa un canale. Se un canale non è monitorato, diventa un canale laterale. E se i leader non vedono il canale laterale, la pergamena non conta nulla. La leggibilità non si scrive nei principi: si implementa nel runtime.