App nudify deepfake: Apple e Google sotto accusa per fallimento sistemico e profitti

Il fenomeno ha rivelato un fallimento sistemico nei controlli, poiché gli sviluppatori hanno aggirato le politiche con tattiche sofisticate e le piattaforme hanno mostrato una moderazione reattiva, spesso influenzata dai profitti generati.

Un’indagine del Tech Transparency Project (TTP) ha scoperto che decine di applicazioni per creare deepfake pornografici, i cosiddetti “nudify” app, sono state ospitate per mesi sugli store di Apple e Google, nonostante politiche interne che dovrebbero vietarle. Secondo il rapporto, sono state identificate 55 app di questo tipo su Google Play e 47 sull’App Store di Apple, scaricate collettivamente oltre 705 milioni di volte e con un fatturato stimato di 117 milioni di dollari.

Un business miliardario che solleva una domanda scomoda: come hanno fatto a sfuggire per così tanto tempo ai controlli dei due colossi che si vantano di avere i processi di revisione più rigorosi al mondo?

La risposta, come spesso accade quando si uniscono i puntini, ha a che fare con modelli di business, tattiche di elusione e una moderazione dei contenuti che appare più reattiva che proattiva, soprattutto quando i profitti scorrono.

Il gioco del gatto e del topo tra sviluppatori e piattaforme

Le app in questione utilizzano intelligenza artificiale, spesso basata su generative adversarial networks (GANs), per rimuovere digitalmente i vestiti dalle foto, creando immagini sessualmente esplicite senza il consenso delle persone ritratte. Non sono un fenomeno nuovo, ma la loro proliferazione sugli store ufficiali è indicativa di un fallimento sistemico. Gli sviluppatori hanno adottato tattiche sempre più sofisticate per bypassare i controlli automatizzati e umani.

Alcune app, ad esempio, nascondevano la funzionalità “nudify” dietro paywall o la spostavano su server cloud attivati solo dopo l’installazione, rendendo inefficace una revisione statica del codice.

Altre si presentavano negli store con descrizioni e screenshot innocui, per poi essere pubblicizzate apertamente su social media come Facebook e Instagram come strumenti per “spogliare” le foto.

Questo gioco di nascondino ha funzionato a lungo. Nonostante le linee guida di Apple proibiscano esplicitamente le app che creano deepfake senza adeguate salvaguardie e vietino i contenuti “gratuitamente sessuali” o progettati per “eccitare”, decine di app sono rimaste disponibili.

Google, dal canto suo, vieta esplicitamente di condividere informazioni sanitarie sensibili senza consenso e proibisce i contenuti sessualmente espliciti, ma la sua politica non menziona esplicitamente la tecnologia deepfake.

L’approccio reattivo di entrambe le aziende è emerso chiaramente: Apple ha rimosso 28 app solo dopo la pubblicazione del rapporto TTP, mentre Google ne ha sospese o rimosse 31, dichiarando che un’indagine era “in corso”.

Una risposta che arriva sempre dopo che il danno – in termini di diffusione di immagini non consensuali e di profitti per gli sviluppatori – è già stato fatto.

Le nostre politiche vietano i contenuti sessualmente espliciti e le app che creano immagini sessuali non consensuali. Abbiamo rimosso la maggior parte delle app segnalate e la nostra indagine è in corso.

— Portavoce di Google, in una dichiarazione

Il conflitto di interesse silenzioso: chi ci guadagna davvero?

Qui la critica si fa più tagliente. Sia Apple che Google operano su un modello che prevede una percentuale sui ricavi generati dalle app, tipicamente fino al 30% su acquisti in-app e abbonamenti. Il rapporto TTP stima che le app “nudify” abbiano generato centinaia di milioni di dollari di entrate.

È quindi matematico che le piattaforme abbiano intascato una fetta di quei 117 milioni di dollari generati da applicazioni che, in teoria, violano le loro stesse regole.

Questo crea un palese conflitto di interesse: c’è un incentivo finanziario a essere meno zelanti nella caccia a questo tipo di software, specialmente quando è così redditizio?

La domanda non è retorica, se si considera che app come DreamFace, adatta a utenti dai 9 anni in su secondo la classificazione di Apple, hanno generato circa un milione di dollari di ricavi prima di essere rimosse.

Il sistema di moderazione, che dovrebbe essere un baluardo a difesa degli utenti, si trasforma così in un costo operativo da ottimizzare, mentre i ricavi continuano a fluire.

Non è un caso che il Congresso degli Stati Uniti abbia recentemente interrogato le Big Tech sulle loro azioni contro le immagini intime non consensuali, evidenziando una crescente pressione normativa.

Nel Regno Unito, il governo sta valutando di bandire del tutto le app “nudification”.

La regolazione arranca, le piattaforme fanno (ancora) da giudici

Il contesto normativo sta cercando di recuperare il ritardo. Negli Stati Uniti, il TAKE IT DOWN Act, approvato nel maggio 2025, criminalizza la distribuzione non consensuale di immagini intime, siano esse reali o generate dall’IA. Nell’Unione Europea, l’AI Act impone obblighi di trasparenza per rendere tracciabile l’origine dei deepfake.

Tuttavia, l’onere primario di applicare queste norme ricade ancora una volta sulle piattaforme private, che devono implementare processi di “notice and takedown”.

Google, ad esempio, conserva i prompt per 55 giorni per il monitoraggio e ha annunciato partnership come il programma StopNCII, ma questi sforzi sembrano palliativi se le app abusive riescono a entrare in vetrina così facilmente.

Il nodo cruciale è la governance della tecnologia. Apple e Google detengono il potere esclusivo di decidere cosa può o non può esistere sui miliardi di dispositivi mobili in uso. Quando i loro sistemi falliscono – per incapacità tecnica, per mancanza di risorse o per conflitti di interesse sottostanti – non c’è un vero contrappeso.

Gli utenti, e in particolare le donne e i minori che sono le vittime predestinate di questi abusi, rimangono esposti.

La promessa di un’ecosistema sicuro e controllato si scontra con la realtà di un mercato delle app che si aspetta di raggiungere i 673 miliardi di dollari entro la fine del 2025.

In questa corsa al volume e al fatturato, la sicurezza diventa una feature da vendere al legislatore, non una garanzia per l’utente.

Alla fine, lo scandalo delle “nudify app” non è solo una storia di tecnologia usata per il male.

È un caso di studio lampante su come i giganti del digitale, quando devono bilanciare profitto e protezione, mostrino troppo spesso i limiti del loro “governo privato”.

Si aggiornano le linee guida, si lanciano partnership, si rimuovono app quando i riflettori dei media si accendono.

Ma il modello di business che ha permesso a quelle app di esistere, prosperare e generare ricchezza per tutti – sviluppatori e piattaforme – rimane intatto.

Fino a quando non sarà quel modello a essere messo in discussione, ogni “indagine in corso” suonerà come una promessa non mantenuta.