Robots.txt e l’illusione del controllo nell’era dell’ia generativa

Dalla “stretta di mano” al far west digitale: come l’IA sta riscrivendo le regole del web, espropriando editori e utenti

Siamo nel 2026 e l’antica “stretta di mano” su cui si è fondato il web per trent’anni è ufficialmente diventata un gesto osceno.

Per decenni, il file robots.txt è stato l’equivalente digitale del cartello “Proprietà Privata” appeso a un cancello aperto: un accordo tra gentiluomini. I proprietari dei siti dicevano ai motori di ricerca dove non guardare, e i motori di ricerca, in cambio del traffico, obbedivano.

Ma nell’era dell’intelligenza artificiale generativa, dove i dati sono il nuovo petrolio e la privacy è un ostacolo al fatturato, i gentiluomini sono scomparsi.

Al loro posto sono arrivati i crawler voraci delle Big Tech, e il vecchio file di testo è diventato la trincea di una guerra persa in partenza.

La narrazione ufficiale ci racconta di editori che riprendono il controllo, erigendo muri digitali per proteggere il proprio lavoro dal saccheggio indiscriminato delle AI. Ma se guardiamo oltre i comunicati stampa trionfalistici, la realtà è ben diversa: stiamo assistendo a una frammentazione del web dove l’unica legge è quella del più forte, e dove le “scelte” concesse agli editori assomigliano più a un ricatto mascherato da opzione tecnica.

L’illusione del controllo: un lucchetto di carta

L’idea che basti una riga di codice per fermare un’azienda valutata miliardi di dollari è affascinante, ma tragicamente ingenua.

Eppure, è proprio su questa illusione che si sta giocando la partita. I dati parlano chiaro: gli editori stanno alzando le barricate, o almeno credono di farlo. Secondo un’analisi recente, il 79% dei principali siti di news negli Stati Uniti e nel Regno Unito blocca ormai almeno un bot di addestramento AI tramite robots.txt.

Sembra una presa di posizione forte, una dichiarazione di indipendenza contro chi vuole addestrare i propri LLM (Large Language Models) a costo zero.

Tuttavia, c’è una distinzione fondamentale che spesso sfugge nel dibattito pubblico e che le aziende tecnologiche si guardano bene dal chiarire: la differenza tra bloccare l’addestramento e bloccare la “risposta”. I bot di training (come GPTBot) rubano i contenuti per “imparare”; i bot di retrieval o indexing (come quelli di Perplexity o i plugin di ricerca) leggono i contenuti in tempo reale per rispondere agli utenti.

Bloccare i primi protegge (teoricamente) la proprietà intellettuale a lungo termine; bloccare i secondi significa sparire dall’ecosistema dell’informazione immediata.

Ed è qui che l’architettura scricchiola. Gli editori si trovano di fronte a un bivio impossibile: regalare i propri contenuti o diventare invisibili.

Come ha osservato Sheila Dang di Reuters, la situazione è precipitata rapidamente:

Gli editori di notizie stanno aggiornando i file robots.txt per impedire al web crawler di OpenAI, così come ad altri strumenti di intelligenza artificiale, di scansionare i loro contenuti per i set di dati di addestramento.

— Sheila Dang, Corrispondente tecnologia e media presso Reuters

Ma “impedire” è una parola grossa quando il lucchetto è fatto di carta. Il robots.txt non ha alcun valore legale cogente né una barriera tecnica reale; è una richiesta di cortesia.

E nel 2026, la cortesia non paga i dividendi agli azionisti.

Il paradosso di Google e la trappola dell’ecosistema

Se c’è un attore che sa muoversi magistralmente in questa zona grigia, è Google. Mentre OpenAI e Perplexity vengono dipinti come i “cattivi” che sfondano le porte, Mountain View ha giocato una partita molto più sottile con il suo Google-Extended.

Questo crawler è stato presentato come un compromesso: permette agli editori di dire “no” all’uso dei dati per addestrare Gemini, pur mantenendo la visibilità nella Ricerca Google tradizionale.

Il risultato? È il bot meno bloccato in assoluto. Non perché gli editori si fidino di Google, ma perché ne sono terrorizzati. Bloccare completamente Googlebot significa suicidio commerciale; bloccare Google-Extended sembra una via di mezzo accettabile.

Ma è davvero così?

In realtà, questa frammentazione dei permessi serve solo a consolidare il dominio dell’incumbent. Google ha creato un sistema in cui l’editore si sente al sicuro perché ha spuntato una casella, mentre l’azienda continua a dominare sia la ricerca classica che quella generativa, lasciando ai concorrenti (che vengono bloccati molto più aggressivamente) le briciole.

I dirigenti delle startup AI, ovviamente, tentano di rassicurare il mercato sostenendo che il rispetto delle regole è nel loro DNA, cercando di evitare una regolamentazione più severa. Reed McGinley-Stempel, CEO di Stytch, ha sottolineato questa facciata di conformità:

OpenAI ha pubblicato istruzioni per i webmaster su come disabilitare GPTBot tramite robots.txt, il che implica che obbedisce a tali regole.

— Reed McGinley-Stempel, Co‑fondatore e CEO di Stytch

Notate l’uso del verbo “implicare”. È la chiave di tutto.

“Implica” non significa “garantisce”. E infatti, quando i crawler ufficiali vengono bloccati, spesso spuntano bot anonimi, user-agent non dichiarati o scraping effettuati tramite proxy residenziali che rendono il robots.txt carta straccia.

Le analisi sul traffico mostrano violazioni delle regole robots.txt da parte dei crawler AI nel 72% dei casi monitorati, dimostrando che per molte aziende l’acquisizione dei dati ha priorità assoluta rispetto al consenso dei proprietari.

La fine del web aperto (e chi paga il conto)

Questa dinamica sta portando a una conseguenza inevitabile: la morte del web aperto. Se il robots.txt non funziona, l’unica difesa è il login obbligatorio, il paywall rigido, il blocco degli indirizzi IP a livello di server.

Stiamo passando da un internet navigabile a un arcipelago di fortezze chiuse.

Chi ci guadagna? Paradossalmente, proprio le Big Tech e i grandi gruppi editoriali.

I giganti come News Corp o Axel Springer hanno la forza contrattuale per sedersi al tavolo con OpenAI e Google, firmando accordi di licenza milionari che permettono l’accesso legittimo ai dati (scavalcano il robots.txt con un contratto). I piccoli editori, i blogger indipendenti e le testate locali, che non hanno nulla da scambiare, restano fuori: i loro dati vengono presi comunque (illegalmente o tramite scappatoie tecniche), oppure vengono bloccati e condannati all’irrelevanza perché le AI non citeranno mai le loro fonti.

Inoltre, c’è un rischio enorme per la privacy degli utenti in questo scenario. Se i crawler ignorano le direttive di esclusione, ignorano anche le richieste di non indicizzare dati sensibili che potrebbero essere finiti online per errore.

Un tempo, una modifica al robots.txt poteva “nascondere” una pagina imbarazzante o privata; oggi, una volta che quel dato è stato ingerito nel peso sinaptico di un modello LLM, non c’è modo di cancellarlo. Il diritto all’oblio è tecnicamente incompatibile con l’architettura di un modello generativo già addestrato.

Siamo di fronte a un fallimento normativo e tecnico. Il GDPR e le normative sul copyright arrancano dietro a tecnologie che muovono dati a velocità inumana.

Affidarsi a uno standard del 1994 per regolare l’intelligenza artificiale del 2026 è come cercare di fermare un missile ipersonico con una racchetta da tennis.

Anthropic ha dichiarato che il crawler di Claude rispetta le esclusioni standard, ma la fiducia è una risorsa esauribile quando il modello di business richiede una crescita infinita dei dati.

La domanda che dovremmo porci non è “come bloccare i bot”, ma chi possiede la conoscenza che abbiamo collettivamente versato nella rete per trent’anni.

Se la risposta è “chi ha i server più potenti per scansionarla”, allora il concetto stesso di privacy e proprietà intellettuale nel web moderno è diventato una favola che ci raccontiamo per non ammettere di essere già stati espropriati.