OpenAI ha indicizzato centinaia di milioni di pagine con l’1% della rete

Il pilot Cloudflare-OpenAI ha mappato solo una frazione della rete, ma le pagine indicizzate superano ogni previsione.

Immaginate di gestire un piccolo negozio online di ricambi vintage. Per anni il vostro sito è rimasto invisibile alle ricerche AI. Poi, all’improvviso, ChatGPT inizia a consigliare i vostri prodotti. Non è un colpo di fortuna: è il risultato di un pilot di ricerca tra Cloudflare e OpenAI che ha mappato una fetta minuscola della rete e ha prodotto centinaia di milioni di pagine indicizzate, secondo l’annuncio pubblicato da Cloudflare nei giorni scorsi.

Il pilot era partito lo scorso luglio, con un obiettivo preciso: capire come l’intelligenza artificiale può scoprire il web in modo più intelligente. Ora arrivano i numeri, e sono numeri che fanno impressione.

La scala che non ti aspetti: l’1% che vale centinaia di milioni

Come è potuto succedere? Il meccanismo è meno magico di quanto sembri. Cloudflare ha selezionato una coorte di partecipanti pari a circa l’1% della sua rete totale, come si legge nel comunicato ufficiale del pilot pubblicato a luglio. Una piccola frazione, sulla carta. Eppure questo 1% ha permesso a OpenAI di scoprire e indicizzare centinaia di milioni di nuove pagine web. Non migliaia, non decine di migliaia: centinaia di milioni.

Fermiamoci un attimo su questo numero. Un campione che copre solo l’1% della rete Cloudflare ha prodotto un volume di indicizzazione che fino a poco tempo fa sarebbe stato impensabile per un progetto sperimentale. Se estendessimo la stessa logica all’intera rete, la scala diventerebbe difficile persino da visualizzare. È il classico caso in cui guardi i dati e ti rendi conto che il futuro è già arrivato, solo che era nascosto dentro una percentuale.

Ma se la scala è così impressionante, chi controlla davvero cosa viene indicizzato?

Il paradosso del permesso

La domanda sul controllo ci porta dritti al cuore del problema: chi decide cosa merita di essere scoperto? Qui le cose si fanno interessanti, perché c’è un paradosso in bella vista.

Da un lato, la maggior parte dei proprietari di siti web desidera che i propri contenuti siano presenti nei sistemi di intelligenza artificiale, come si legge nel comunicato stampa di Cloudflare. E questo è comprensibile: se ChatGPT o i motori AI consigliano i tuoi prodotti, il tuo negozio vive una seconda primavera. La visibilità algoritmica è diventata preziosa quanto, se non più, del posizionamento nei motori di ricerca tradizionali.

Dall’altro lato, però, i segnali forniti da Cloudflare non concedono il permesso di accedere a una pagina. Sono un suggerimento, non una chiave. OpenAI valuta e classifica in modo indipendente le pagine scoperte, in base alla loro rilevanza e utilità. E per questo tipo di ricerca vengono usati metadati sul web, non i contenuti delle pagine per l’addestramento dei modelli. Tradotto: il padrone del sito vuole essere visto, Cloudflare segnala la sua esistenza, ma l’ultima parola spetta sempre a OpenAI.

È come se il vostro negozio apparisse su una mappa senza che nessuno vi abbia chiesto il permesso di disegnare la mappa. Non è un permesso, è una segnalazione. La differenza è sottile, ma pesa parecchio. E apre una questione di trasparenza che non possiamo ignorare: se un sito viene indicizzato male o escluso, il proprietario non ha un interlocutore a cui chiedere conto. O almeno, non ancora.

Questa ambiguità diventa ancora più rilevante quando guardiamo alla concorrenza.

La corsa all’indice: Google ha il doppio, ma OpenAI accelera

Il paradosso del permesso non frena la concorrenza: anzi, la alimenta. Google AI Mode ha già superato un miliardo di utenti mensili, secondo i dati ufficiali di Google. Un numero che nessuno può più ignorare, e che spiega perché ogni azienda AI stia correndo per allargare la propria porzione di web indicizzabile.

E poi c’è il confronto diretto. Secondo quanto riportato da TechCrunch, Cloudflare afferma che il più grande motore di ricerca al mondo — Google — ha accesso a circa il doppio delle informazioni rispetto ad altre aziende di AI. Eppure OpenAI, con solo l’1% della rete Cloudflare a disposizione, ha già indicizzato centinaia di milioni di pagine. Il divario, insomma, potrebbe ridursi più in fretta del previsto.

Il prossimo passo sarà osservare se Cloudflare estenderà il pilot oltre l’1% e come gli altri motori di intelligenza artificiale risponderanno. Perché una cosa è certa: il web non è più solo un territorio dei motori di ricerca tradizionali. È una risorsa contesa, e la vera domanda non è più se il tuo sito sarà indicizzato, ma da chi e con quali regole.