Web crawling: Google mantiene il monopolio dei dati grazie al robots.txt

La battaglia per l’IA si combatte sui dati web, e Google, grazie al robots.txt, detiene un vantaggio inaccessibile per gli altri

Nel mondo dello sviluppo software, spesso ci concentriamo sull’eleganza degli algoritmi, sull’efficienza dei trasformatori o sulla pura potenza di calcolo delle GPU.

Tuttavia, al 20 gennaio 2026, sta diventando evidente che la battaglia per la supremazia nell’intelligenza artificiale non si sta decidendo nei laboratori di ricerca, ma nel livello più fondamentale e “sporco” dell’infrastruttura di rete: il web crawling.

Per anni abbiamo dato per scontato che internet fosse un luogo pubblico, accessibile a chiunque avesse uno script Python e una connessione decente.

La realtà tecnica, tuttavia, è molto diversa e si nasconde dietro un file di testo minuscolo che risiede nella radice di quasi ogni sito web: il robots.txt. È qui che si sta consumando uno scontro silenzioso che sta definendo i vincitori dei prossimi decenni, e i dati che emergono dall’infrastruttura globale mostrano un vincitore che, paradossalmente, è lo stesso che ha dominato l’era precedente.

Mentre l’attenzione pubblica è focalizzata sulle capacità di ragionamento dei modelli, Cloudflare, che gestisce una fetta sostanziale del traffico internet globale, ha sollevato il velo su una disparità tecnica allarmante. I dati indicano che Google scansiona 3,2 volte più pagine web rispetto a OpenAI, un divario che non è dovuto alla capacità ingegneristica, ma ai permessi di accesso.

Questo non è un dettaglio implementativo trascurabile; è il fattore determinante per la qualità dell’addestramento dei modelli futuri.

Il patto faustiano del robots.txt

Per capire la gravità della situazione, bisogna guardare a come funziona il protocollo di esclusione dei robot. È uno standard volontario, nato nel 1994, che si basa su un accordo tra gentiluomini: il proprietario del sito dice ai bot dove non andare, e i bot “buoni” obbediscono.

Per due decenni, il patto è stato semplice: i siti lasciavano entrare Googlebot perché, in cambio, Google inviava traffico prezioso (utenti).

Con l’avvento dell’IA generativa, questo scambio di valore si è rotto. OpenAI, Anthropic e altri scansionano il web non per indicizzare e rimandare utenti, ma per ingerire conoscenza e trattenere l’utente sulla loro piattaforma.

Di conseguenza, editori e amministratori di sistema hanno iniziato a bloccare massicciamente i crawler come GPTBot o CCBot. Tuttavia, non possono permettersi di bloccare Google, pena la scomparsa dai risultati di ricerca.

Questo crea un paradosso tecnico in cui Googlebot continua ad avere accesso VIP a contenuti che sono ormai off-limits per chiunque altro.

Matthew Prince, CEO di Cloudflare, ha sintetizzato brutalmente questo cambiamento nelle dinamiche di rete:

Dieci anni fa… per ogni due pagine di un sito web che Google scansionava, ti inviavano un visitatore. … Ora, servono sei pagine scansionate per ottenere un visitatore.

— Matthew Prince, CEO di Cloudflare

Questo deterioramento del rapporto di conversione non ha però spinto i webmaster a chiudere la porta a Mountain View, consolidando una posizione di vantaggio che va ben oltre la semplice indicizzazione.

La supremazia dei dati grezzi

Dal punto di vista di un ingegnere dei dati, la quantità e la varietà del dataset di training sono tutto. Se un modello viene addestrato solo su dati pubblici di bassa qualità (perché i siti premium lo bloccano), le sue capacità di inferenza ne risentiranno.

Google, sfruttando la sua posizione dominante nella ricerca, riesce ad accedere a contenuti dietro paywall morbidi o sezioni di siti che bloccano esplicitamente i concorrenti.

Le metriche di traffico confermano che questo vantaggio infrastrutturale si sta traducendo in quote di mercato. Mentre il traffico di ChatGPT ha visto una contrazione verso la fine del 2025, i modelli Gemini di Google hanno registrato una crescita sostenuta.

Non è una coincidenza: i modelli di Google stanno diventando “più intelligenti” perché hanno letto libri che agli altri sono vietati.

Prince ha evidenziato come questo costituisca un vantaggio strutturale che permette a Google di vedere parti di internet precluse agli altri, creando un fossato difensivo quasi impossibile da colmare tecnicamente per una startup, per quanto ben finanziata.

La questione non è chi ha l’architettura neurale più pulita, ma chi ha il permesso di leggere la biblioteca universale.

Google sta usando una posizione dominante che ha nella ricerca per fare leva e farsi strada nell’IA.

— Matthew Prince, CEO di Cloudflare

Un monopolio di fatto?

La comunità open source e gli sviluppatori indipendenti si trovano ora di fronte a uno scenario preoccupante. Se l’accesso ai dati di training di alta qualità diventa appannaggio esclusivo di chi possiede già il monopolio della ricerca, l’idea di un ecosistema IA diversificato e competitivo rischia di morire in culla.

La “democratizzazione dell’IA” diventa uno slogan vuoto se la materia prima necessaria per costruirla è accessibile a un solo attore.

Le soluzioni proposte sono drastiche e toccano il cuore della regolamentazione digitale. Si parla di imporre a Google di condividere i dati scansionati o di impedire l’uso dei dati raccolti per la ricerca nell’addestramento dei modelli IA.

Tuttavia, implementare tecnicamente una separazione tra “dati per l’indice di ricerca” e “dati per il modello IA” all’interno della stessa azienda è una sfida quasi impossibile da verificare dall’esterno.

O riportiamo Google dove sono tutti gli altri, non permettendo loro di sfruttare la ricerca per ottenere un vantaggio unico nell’IA, o ci assicuriamo che tutti abbiano accesso a quegli stessi dati.

— Matthew Prince, CEO di Cloudflare

Siamo di fronte a un bivio architetturale per il web. Se non si interviene sul livello del protocollo o della normativa, il rischio è che l’intero scibile umano digitalizzato diventi, di fatto, un dataset proprietario di un’unica azienda, trasformando il resto dell’industria tecnologica in semplici clienti delle sue API.

Sarebbe un’ironia amara se lo strumento nato per organizzare l’informazione mondiale finisse per diventarne l’unico proprietario legittimo.