Il crawler di OpenAI è entrato nel tuo robots.txt
Il crawler gptbot di OpenAI compare nel 4,5% dei robots.txt, con un aumento del 55% in un anno. Segnale dell'avanzata dell'AI nel web e della transizione verso la Generative Engine Optimization (GEO).
La sua presenza è aumentata del 55% in un anno, segnando l’ascesa dei crawler per l’addestramento dell’IA.
Immagina un webmaster che, una mattina qualunque, apre il file robots.txt del proprio sito — quel piccolo documento tecnico che dice ai bot cosa possono o non possono leggere — e si accorge di qualcosa di insolito. Tra le righe che bloccano o autorizzano i crawler, compare sempre più spesso un nome: gptbot, il ragno digitale di OpenAI. Non è una coincidenza. Secondo il Web Almanac 2025, il rapporto annuale sull’analisi del web, gptbot appare oggi nel 4,5% dei file robots.txt analizzati su desktop e nel 4,2% su mobile. Numeri che, rispetto al 2024 — quando si attestavano rispettivamente al 2,9% e al 2,7% — rappresentano un aumento di circa il 55%. Non un salto epocale in termini assoluti, ma un segnale chiarissimo di una tendenza in accelerazione. L’intelligenza artificiale non bussa alla porta del web: ci è già dentro.
La sorpresa nel robots.txt
Per capire cosa sta succedendo davvero, vale la pena fare un passo indietro. Il file robots.txt funziona come un cartello all’ingresso di un negozio: indica ai visitatori automatici — i cosiddetti crawler — dove possono andare e dove no. Finché i crawler erano principalmente quelli di Google o Bing, la questione era relativamente semplice. Oggi, con l’esplosione dei sistemi di intelligenza artificiale generativa, i bot si sono moltiplicati e i webmaster devono decidere se lasciare che i propri contenuti vengano “divorati” e usati per addestrare modelli linguistici o tenerli al riparo.
Il fatto che gptbot compaia in quasi il 5% dei robots.txt significa che una fetta crescente di chi gestisce siti web ha già preso una posizione — nel bene o nel male. C’è anche un nuovo formato emergente, l’llms.txt, pensato appositamente per comunicare con i modelli linguistici: ma la sua adozione è ancora ferma al 2%, segno che il mercato è ancora in una fase di esplorazione. Il resto del web, nel frattempo, migliora su altri fronti tecnici: l’HTTPS ha raggiunto il 91,7% delle pagine desktop, e a giugno 2025 il 56% delle pagine ha ottenuto buoni punteggi complessivi per i Core Web Vitals. Le fondamenta sono solide. Ma le regole del gioco in cima stanno cambiando.
Dalla SEO tradizionale al GEO
Per anni, ottimizzare un sito per la ricerca ha significato una cosa abbastanza precisa: convincere Google che il tuo contenuto meritava di stare in cima alla SERP. Si lavorava su parole chiave, link in entrata, velocità di caricamento, struttura delle pagine. Un lavoro certosino, spesso oscuro, ma con regole relativamente stabili. Poi, nel 2024, è arrivata la scossa: Google ha introdotto gli AI Overviews, quelle risposte generate dall’intelligenza artificiale che compaiono in cima ai risultati e che, in molti casi, tolgono traffico ai siti che pure vengono citati. Nello stesso anno, i cosiddetti Google Leaks hanno confermato sospetti lungamente coltivati su come il motore di ricerca classifica i contenuti. Il terreno sotto i piedi dei professionisti SEO si è mosso, e non si è stabilizzato.
Ed è qui che entra in scena il GEO, la Generative Engine Optimization: l’ottimizzazione non più per i motori di ricerca classici, ma per i sistemi generativi che sintetizzano informazioni e le presentano direttamente all’utente. La buona notizia, sottolineata anche da un’analisi di Search Engine Land, è che il GEO non richiede di ricominciare da zero. Si basa su sistemi di valore molto simili a quelli che i migliori esperti SEO, i content marketer e i team di PR digitali già conoscono bene: autorevolezza, credibilità, chiarezza, capacità di rispondere a domande reali in modo esauriente. Chi ha investito nella qualità dei contenuti — non nei trucchetti — ha un vantaggio di partenza. Chi ha costruito castelli di sabbia ottimizzati per gli algoritmi di ieri dovrà rimettersi al lavoro.
Il futuro frammentato della ricerca
Guardando avanti, il quadro che si delinea è quello di un ambiente sempre più plurale e difficile da governare con un’unica strategia. Non ci sarà più “il” motore di ricerca da conquistare, ma una costellazione di punti di accesso all’informazione — ciascuno con le proprie logiche, i propri formati, i propri criteri di selezione. Chi navigherà bene in questo scenario sarà chi capirà prima degli altri dove si spostano le domande delle persone e come rispondervi nel modo più utile.
Per orientarsi, strumenti come il rapporto di Search Engine Journal — il quinto appuntamento annuale con lo State of SEO — si propongono come punto di riferimento per i professionisti e i manager che vogliono capire dove sta andando il settore, con un focus su prestazioni e impatto concreto sul business. Rapporti come questi saranno sempre più preziosi in un panorama che cambia velocemente.
La domanda che rimane aperta è semplice e insieme complicatissima: cosa troverà il prossimo webmaster che aprirà il suo robots.txt? Quanti nuovi crawler AI compariranno tra dodici mesi? E soprattutto — chi deciderà le regole di questo nuovo gioco? Mentre la ricerca si frammenta tra intelligenza artificiale e social, la capacità di adattarsi rapidamente e di capire le logiche del GEO diventerà sempre più una competenza fondamentale. Tenersi aggiornati, in questo caso, non è un consiglio generico: è l’unico vero vantaggio competitivo rimasto.
