Cloudflare ha dichiarato guerra ai bot AI

La nuova tassonomia di Cloudflare distingue tra ricerca, agenti e addestramento, con regole predefinite che entreranno in vigore nel settembre

Facciamo un esperimento mentale. Gestite un blog di ricette, uno di quei siti pieni di foto di torte e consigli su come non far attaccare il risotto. Ogni giorno decine di crawler passano sulle vostre pagine, le leggono, le indicizzano, le “capiscono”. Il problema è che i clic da Google calano lo stesso, perché l’assistente virtuale di turno ha già dato la risposta al posto vostro, magari citandovi in un rigo piccolo in fondo alla pagina, magari no. Voi avete scritto la ricetta, testato le dosi, scattato le foto. L’intelligenza artificiale si è presa il risultato e ve lo ha scippato davanti alla porta di casa. Ora, però, scoprite che potete premere un interruttore e dire basta.

Proprio da una frustrazione quotidiana come questa è nato, un anno fa, il “Content Independence Day” di Cloudflare, l’azienda che gestisce l’infrastruttura di gran parte del web mondiale. E nei giorni scorsi Cloudflare è tornata sull’argomento con una serie di novità che promettono di cambiare davvero le carte in tavola per chi pubblica contenuti online.

Il giorno in cui il web disse basta

Lo scorso luglio, era il 1° luglio 2025, Cloudflare aveva lanciato un allarme diretto: il web, dicevano, veniva “stripmined” — letteralmente scavato a cielo aperto, come una miniera — dai crawler dell’intelligenza artificiale, che si portavano via i contenuti senza restituire quasi nessun traffico e quindi quasi nessun valore a chi quei contenuti li aveva creati. Non era una lamentela vaga: contestualmente Cloudflare aveva introdotto un’opzione con un clic per bloccare i bot AI e, soprattutto, un marketplace chiamato Pay per Crawl, lanciato in beta privata, che permetteva ai proprietari dei siti di far pagare ai crawler AI una piccola tariffa per ogni singola scansione — una specie di pedaggio al metro quadro digitale.

Era un primo passo, utile ma grezzo. Perché “bloccare i bot AI” è un’operazione tutto sommato binaria: o dentro o fuori, senza sfumature. E il mondo dei bot, si è capito in fretta, binario non è affatto. Un crawler che scansiona il vostro sito per rispondere a una domanda in tempo reale non è la stessa cosa di uno che ingoia i vostri articoli per addestrare per sempre un modello linguistico. Ma come si distingue oggi un bot utile da uno che si limita a spolpare il vostro lavoro? La risposta, arrivata nei giorni scorsi, sta in tre etichette appena ridisegnate.

Tre categorie per domare l’IA

Cloudflare ha pubblicato una tassonomia che divide i bot in tre tipi, e la logica dietro questa suddivisione vale la pena capirla bene, perché da qui in poi sarà il linguaggio con cui gestirete (o farete gestire) il vostro sito. La prima categoria è Search: qualunque comportamento che raccoglie o indicizza i vostri contenuti per poter rispondere in futuro a domande su di essi. È il crawling “classico”, quello che costruisce un database per rispondere a query, e per cui — spiega Cloudflare — chi possiede il sito dovrebbe aspettarsi traffico di rimando o comunque una compensazione equa. La seconda è Agent: comportamento automatizzato che agisce, di solito in tempo reale, per conto di una persona, per portare a termine qualcosa subito. Qui rientrano i bot che vanno a recuperare informazioni per una chat (come ChatGPT-User) o gli agenti che navigano il browser al posto vostro (Gemini o Claude che guidano Chrome). La terza, Training, è forse la più temuta: un crawler che si porta via i vostri contenuti per addestrare o affinare un modello, assorbendo permanentemente i vostri dati nell’architettura sottostante dell’intelligenza artificiale.

Non è solo semantica. A questa tripartizione Cloudflare ha affiancato due strumenti concreti. Il primo è BotBase, un nuovo database che traccia tutti i bot conosciuti, inclusi quelli verificati e gli agenti, pensato per i clienti Enterprise con Bot Management: in pratica un elenco vivo e aggiornato di “chi è chi” tra i crawler, così da non dover più tirare a indovinare se quell’indirizzo IP sospetto sia Googlebot o un raschiatore mascherato. Il secondo è l’estensione di Content Signals, lo standard che vive dentro il file robots.txt di ogni sito: da questa estate è in fase di test un nuovo campo, chiamato “use”, che permette di dichiarare esplicitamente le proprie preferenze con tre valori — use=immediate, use=reference, use=full — per dire ai bot, in sostanza, quanto e come possono utilizzare quel contenuto. Un livello di controllo granulare che fino a poco tempo fa semplicemente non esisteva.

Tutto molto elegante, sulla carta. Il problema è che molti crawler giocano su più fronti contemporaneamente, mescolando ricerca e addestramento nello stesso passaggio sul vostro sito. E soprattutto resta da capire dove si posiziona il colosso che macina più traffico di chiunque altro: Google.

15 settembre 2026: la resa dei conti

La data da segnare in agenda è il 15 settembre 2026. A partire da quel giorno, per tutti i nuovi domini che si registrano su Cloudflare, i bot classificati come Training e Agent saranno bloccati di default sulle pagine che mostrano annunci pubblicitari, mentre i bot di categoria Search resteranno permessi. È un cambio di paradigma pratico non da poco: significa che chi apre un sito da zero non dovrà più andare a caccia di impostazioni nascoste per proteggersi, perché la protezione sarà già accesa di serie, e sarà semmai chi vuole aprire le porte ai crawler di addestramento a dover fare la scelta esplicita. Cloudflare, secondo quanto riportato da TechCrunch, con questa mossa spinge di fatto le aziende di intelligenza artificiale verso un modello in cui pagare per i contenuti degli editori diventa la strada meno complicata rispetto a bloccarsi fuori. E c’è un dettaglio tecnico che chiarisce quanto sia stretta la maglia: i crawler a scopo misto, quelli che combinano Search e Training nello stesso bot, verranno bloccati comunque da tutte le configurazioni pensate per fermare l’addestramento, incluso il vecchio pulsante “Block AI bots” già esistente dal 2025.

Qui si apre il paradosso più interessante. Googlebot, il crawler di punta di Google per la Ricerca, continuerà a passare — perché rientra nella categoria Search — anche quando alimenta funzionalità di intelligenza artificiale come AI Overviews e AI Mode, quelle risposte generate che spesso tolgono clic proprio ai siti da cui attingono. Non solo: a gennaio Google aveva già annunciato che i suoi agenti di ricerca monitoreranno continuamente il web per conto degli utenti, scandagliando blog, siti di notizie, post sui social e dati in tempo reale su finanza, shopping e sport, per intercettare ogni cambiamento legato alle domande specifiche delle persone. Un livello di presenza costante e pervasiva che nessun’altra azienda AI può eguagliare, e che le nuove regole di Cloudflare, di fatto, non toccano nello stesso modo in cui toccano gli altri.

Resta una domanda aperta, e non da poco: cosa succederà quando i crawler a scopo misto proveranno comunque a intrufolarsi, magari camuffandosi da semplici motori di ricerca? Il 15 settembre non sarà un altro Independence Day gridato a gran voce, ma più probabilmente il primo giorno di un web che impara, lentamente e con qualche contraddizione, a farsi pagare per ciò che vale davvero. E noi lettori, da qui in avanti, potremmo scoprire che la libertà di informazione — quella di cercare, chiedere, ottenere risposte immediate da un assistente — ha un prezzo. Solo che, per una volta, forse non lo pagheremo soltanto noi.