Google ha lasciato a metà il protocollo anti-spreco
Cloudflare rivela che il 53% del traffico dei crawler è sprecato. Google non adotta IndexNow, il protocollo anti-spreco di Bing, nonostante i benefici.
Il protocollo IndexNow prometteva di ridurre gli sprechi dei motori di ricerca, ma il colosso non lo ha mai adottato
Fate un favore a Google: non ditegli che, secondo le osservazioni pubblicate da Cloudflare, oltre metà del traffico generato dai crawler sui siti web è sprecato. Perché la soluzione a questo problema esiste dal 18 ottobre 2021, quando Microsoft Bing ha presentato IndexNow, un protocollo pensato per far comunicare i siti web con i motori di ricerca senza costringerli a farsi scansionare in continuazione, sperando che qualcuno noti un cambiamento. Cinque anni dopo, il problema è ancora lì. E Mountain View, semplicemente, preferisce non guardare.
Il 53% che non ti aspetti
Partiamo dal numero che dovrebbe far saltare sulla sedia chiunque gestisca un sito web: il 53% del traffico generato dai crawler è sprecato. Non è una stima approssimativa buttata lì per allarmare, ma il risultato delle osservazioni di Cloudflare, l’azienda che più di ogni altra vede passare il traffico globale dei bot attraverso la propria infrastruttura. Significa che, per ogni due richieste di scansione che un sito riceve, una non porta a nulla: nessun contenuto nuovo, nessun aggiornamento, nessuna informazione utile per il motore di ricerca che l’ha inviata. Solo consumo di banda, di CPU, di tempo.
IndexNow, nella sua forma più semplice, è un ping: un modo per dire ai motori di ricerca che un URL è stato aggiunto, aggiornato o cancellato, così che possano riflettere il cambiamento nei risultati di ricerca senza dover tornare periodicamente a controllare se qualcosa è cambiato. Un’idea elementare, quasi banale: invece di far vagare i crawler a caso per il web nella speranza di trovare novità, è il sito stesso ad avvisare. Meno sprechi, meno traffico inutile, indicizzazione più rapida. Sulla carta, tutto quello che serviva. Ma chi ha davvero interesse a fermare questa emorragia di risorse?
L’alleanza e il convitato di pietra
Al lancio, IndexNow non era un’iniziativa isolata. Da un lato si è formata una cordata di nomi pesanti: grandi siti come eBay, LinkedIn, MSN, GitHub e Bizapedia avevano già adottato l’API di invio URL di Microsoft Bing Webmaster e stavano pianificando la migrazione al nuovo protocollo. Cloudflare ha dichiarato il proprio supporto, spiegando di poter osservare le tendenze nel modo in cui crawler e bot accedono alle risorse dei siti, così da inviare segnali proattivi su quali scansioni avrebbero probabilmente prodotto contenuti freschi e quali no. Akamai, dal canto suo, ha annunciato l’intenzione di integrare IndexNow per migliorare le esperienze offerte ai propri clienti.
Dall’altro lato, però, c’era il motore che muove la maggior parte del traffico di ricerca globale: Google. E il suo comportamento, fin da subito, è stato tutt’altro che un’adesione entusiasta.
Nel novembre 2021, a distanza di poche settimane dall’annuncio, un portavoce di Google si è limitato a dichiarare che l’azienda era incoraggiata dal lavoro per rendere la scansione del web più efficiente e che avrebbe testato i potenziali benefici del protocollo — parole raccolte da Search Engine Journal, non un impegno concreto. Nessuna adozione, nessuna data, nessun coinvolgimento pubblico paragonabile a quello di Bing o Cloudflare. Solo un test, generico e senza scadenza. Nel frattempo, quasi due anni dopo, Google ha fatto una mossa che suona quasi paradossale: a giugno 2023 ha deprecato il supporto per il ping delle sitemap, comunicando che l’endpoint avrebbe smesso di funzionare entro sei mesi. Un metodo di notifica veniva chiuso, mentre l’alternativa proposta dalla concorrenza restava relegata a un esperimento senza impegni. Eppure, mentre Bing tesseva la sua rete di adesioni, Mountain View osservava in silenzio.
Energia, controllo e il punto di non ritorno
Che cosa significano, in termini di risorse e di potere, quelle percentuali di traffico sprecato? Ogni richiesta di un crawler che non produce nulla è comunque un costo: banda consumata, cicli di CPU bruciati, server che devono rispondere anche quando non c’è nulla di nuovo da mostrare. Moltiplicato per l’intero web, quello spreco diventa un problema di scala industriale, con implicazioni energetiche che nessuno, finora, ha davvero quantificato pubblicamente. E qui si apre una domanda che va oltre l’efficienza tecnica: chi controlla il meccanismo di scoperta dei contenuti, controlla anche la velocità con cui un sito può competere. Se il tuo aggiornamento raggiunge l’indice di un motore di ricerca in pochi secondi grazie a un ping, e quello di un concorrente aspetta giorni perché dipende dalla pazienza di un crawler tradizionale, non è più solo una questione di banda risparmiata: è una questione di visibilità, e quindi di soldi.
Entro settembre 2023, secondo quanto riportato da Wikipedia, oltre 60 milioni di siti web utilizzavano IndexNow. Un numero che, isolato, sembra un successo. Ma è anche un numero che va misurato contro le dimensioni del web indicizzabile: una fetta consistente sì, ma tutt’altro che universale, e soprattutto priva del pieno coinvolgimento del motore di ricerca dominante a livello globale.
È qui che il discorso smette di essere tecnico e diventa una questione di potere di mercato. Un protocollo aperto che promette di ridurre gli sprechi di crawling dovrebbe essere nell’interesse di tutti: dei webmaster, che risparmiano risorse server; degli utenti, che ottengono risultati di ricerca più aggiornati; persino dei motori di ricerca stessi, che potrebbero allocare meglio la propria capacità di calcolo. Eppure Google, che pure dichiara di essere incoraggiata dai lavori per rendere la scansione del web più efficiente, non ha mai reso pubblico un impegno equivalente a quello di Bing, Cloudflare o Akamai. Si potrebbe leggerla come prudenza tecnica. Si potrebbe leggerla, con altrettanta legittimità, come la riluttanza di chi controlla già il meccanismo di scoperta dei contenuti a cedere anche solo un pezzo di quel controllo a un protocollo nato altrove, e sostenuto proprio dal principale concorrente nel mercato della ricerca. La domanda, oggi, non è se IndexNow funzioni — i numeri dicono di sì, almeno in parte. La domanda è se sia mai stato permesso di funzionare fino in fondo.
IndexNow ha acceso un faro sulla più grande inefficienza del web: uno spreco misurabile, documentato, che pesa su server, banda ed energia in tutto il pianeta. Ma un faro, da solo, non basta a illuminare un intero deserto. E quando il custode di gran parte del traffico globale decide di guardare altrove — testando senza impegnarsi, deprecando alternative senza adottarne di nuove — quella luce rischia di restare un esperimento isolato, invece che la soluzione che avrebbe potuto essere.
