Un agente AI può negare una terapia senza alcuna certificazione
Amazon ha certificato i suoi droni con 5100 test, ma gli agenti AI sanitari non hanno alcuna certificazione. Chi si assume la responsabilità?
I droni volano solo con certificazioni ufficiali, gli agenti sanitari AI entrano in produzione senza alcun controllo esterno
Quanti test di sicurezza servono per fidarsi di un drone che ti consegna un pacco? Amazon ne ha fatti 5.100, per oltre 900 ore di volo, prima di ottenere un timbro. Quanti invece bastano per un agente AI che decide se un paziente ha diritto a una terapia? La risposta, oggi, è imbarazzante: nessuno. Non esiste un’autorità che certifichi un agente sanitario prima che entri in produzione. E mentre l’industria sforna modelli sempre più parlanti, il vero discriminante non è l’intelligenza. È la firma del certificatore.
Prendete il drone MK30 di Prime Air. Vola in UK solo dopo un via libera formale della Civil Aviation Authority. È progettato con sistemi di backup ridondanti su ogni componente critico, così che nessun singolo guasto ne causi la perdita di controllo. Ha un sistema di percezione a bordo che rileva ostacoli assenti dalle mappe satellitari. E prima di ogni singola missione, un addetto esegue un’ispezione visiva a 360 gradi. Sameer Mehmood, ground handler, racconta la routine: «Controllo eliche, montanti, motori. Mi assicuro che il drone sia in buono stato, senza danni, idoneo al volo». Non parte se piove forte, se tira vento, se la visibilità è scarsa. È un processo mutuato dai protocolli aeronautici, automobilistici e militari.
Ora spostate lo sguardo sull’agente software che autorizza una prestazione sanitaria. Siamo nello stesso momento storico, eppure il livello di verifica pubblica è ridicolo. La partita dell’AI non si vince con i parametri, ma con i timbri.
Il timbro invisibile che nessuno vuole mettere
Google ha appena introdotto gli environment hooks per Managed Agents: ganci per bloccare, correggere o verificare le chiamate agli strumenti dentro la sandbox. NVIDIA, da parte sua, ha reso open source le competenze per agenti verificate e firmate: set di istruzioni portatili, catalogate, scansionate contro injection e avvelenamento degli strumenti, firmate crittograficamente e accompagnate da una skill card. Cloudflare risponde con le policy granulari di WriteGuard, che per ogni strumento definiscono livello di rischio, stato abilitato e configurazione di etichettatura.
Sembrano mattoni di una governance seria. E lo sono. Ma costringono a una domanda scomoda: perché queste soluzioni arrivano solo ora? E perché nascono come iniziative private, non come prerequisito normativo? La risposta, forse, è che certificare fa paura. Perché certificare significa responsabilità. E la responsabilità, nel software, si scarica volentieri sull’utente finale.
Se il paziente è l’ultimo tester
Il caso Cohere Health è emblematico. L’azienda usa l’isolamento MicroVM di AgentCore Runtime per far girare i propri agenti in multi-tenancy sicura. Ha scritto le competenze con esperti di policy cliniche e le ha valutate con il processo di osservabilità standardizzato di Arize AI. Ha adottato lo standard aperto Agent Skills, con strategie di archiviazione granulari — full trace per i flussi di correzione, conversation only per la cronologia pulita — e modalità di memoria configurabili, da senza stato a persistente.
Tutto molto rassicurante. Ma il punto è un altro: Cohere Health lo fa perché i regolatori stanno arrivando. I Centers for Medicare & Medicaid Services impongono l’autorizzazione preventiva elettronica basata su API entro gennaio 2027. Gli impegni AHIP fissano l’obiettivo di un tasso di approvazione in tempo reale dell’80% per le richieste. È una scadenza, non una scelta etica.
L’architettura tecnica — strumenti abilitabili o disabilitabili per distribuzione, mix di funzioni AWS Lambda e API interne — serve a dimostrare conformità, non necessariamente sicurezza intrinseca.
Il paradosso è sotto gli occhi di tutti: un drone non può cadere su un giardino senza che un ente abbia firmato prima. Un agente AI può decidere sulla pelle di un malato, e l’unica barriera è la buona volontà di un’azienda privata. La domanda non è più se l’AI sia pronta per il mondo reale. È se il mondo reale sia pronto ad accettare che un rifiuto terapeutico venga timbrato da un algoritmo non certificato, solo perché «funziona bene nei test». Oggi non firma nessuno. E se nessuno firma, chi paga quando sbaglia?
