Google ha lasciato a metà il protocollo anti-spreco

Il protocollo IndexNow prometteva di ridurre gli sprechi dei motori di ricerca, ma il colosso non lo ha mai adottato

Fate un favore a Google: non ditegli che, secondo le osservazioni pubblicate da Cloudflare, oltre metà del traffico generato dai crawler sui siti web è sprecato. Perché la soluzione a questo problema esiste dal 18 ottobre 2021, quando Microsoft Bing ha presentato IndexNow, un protocollo pensato per far comunicare i siti web con i motori di ricerca senza costringerli a farsi scansionare in continuazione, sperando che qualcuno noti un cambiamento. Cinque anni dopo, il problema è ancora lì. E Mountain View, semplicemente, preferisce non guardare.

Da SEO, il limite della posizione di Google su IndexNow è soprattutto pratico. Il protocollo offre un meccanismo semplice per notificare che una URL è stata aggiunta, modificata o eliminata, senza aspettare che sia il crawler a scoprirlo autonomamente. Google dispone di una propria Indexing API, ma non rappresenta un’alternativa general-purpose: la documentazione ufficiale continua a limitarne l’utilizzo alle pagine con JobPosting e agli eventi in live streaming con BroadcastEvent incorporato in VideoObject. Per il normale contenuto editoriale, quindi, manca ancora un equivalente diretto di IndexNow. È una differenza che si percepisce anche nel lavoro quotidiano, soprattutto quando interessa accelerare la scoperta di nuovi contenuti o verificare più rapidamente modifiche e attività di link building. Esistono servizi di terze parti che cercano di ridurre questo attrito, e personalmente ho ottenuto buoni risultati con Cromojo, già URL Monitor. Ma resta un workaround. Ed è proprio questo il punto: a quasi cinque anni dal lancio di IndexNow, Google continua a non offrire al web aperto un sistema push altrettanto semplice, generalizzato e interoperabile.

Fabrizio Gabrielli, Pistakkio

Il 53% che non ti aspetti

Partiamo dal numero che dovrebbe far saltare sulla sedia chiunque gestisca un sito web: il 53% del traffico generato dai crawler è sprecato. Non è una stima approssimativa buttata lì per allarmare, ma il risultato delle osservazioni di Cloudflare, l’azienda che più di ogni altra vede passare il traffico globale dei bot attraverso la propria infrastruttura. Significa che, per ogni due richieste di scansione che un sito riceve, una non porta a nulla: nessun contenuto nuovo, nessun aggiornamento, nessuna informazione utile per il motore di ricerca che l’ha inviata. Solo consumo di banda, di CPU, di tempo.

IndexNow rappresenta senza dubbio un passo avanti epocale verso la transizione da un modello basato sul pull (con i bot che scansionano incessantemente pagine immutate) a un paradigma push orientato all'evento. Tuttavia, nella pratica quotidiana, il protocollo vive una fase di stallo a metà del guado. Il motivo principale è l'adozione frammentata: finché i principali player dei motori di ricerca non adotteranno tutti uno standard unificato e universale, i dipartimenti IT e i SEO continueranno a dover fare i conti con logiche di scansione tradizionali. Il risparmio di risorse computazionali e di budget energetico promesso da IndexNow non potrà dirsi compiuto finché non diventerà un ecosistema interoperabile al 100%, superando la logica dei singoli vendor.

Marco Ilardi imprenditore digitale titolare di Micropedia, Micropedia

IndexNow, nella sua forma più semplice, è un ping: un modo per dire ai motori di ricerca che un URL è stato aggiunto, aggiornato o cancellato, così che possano riflettere il cambiamento nei risultati di ricerca senza dover tornare periodicamente a controllare se qualcosa è cambiato. Un’idea elementare, quasi banale: invece di far vagare i crawler a caso per il web nella speranza di trovare novità, è il sito stesso ad avvisare. Meno sprechi, meno traffico inutile, indicizzazione più rapida. Sulla carta, tutto quello che serviva. Ma chi ha davvero interesse a fermare questa emorragia di risorse?

*La SEO moderna si basa su un principio chiaro: aggiornare, accorpare e potare i contenuti deboli per creare risorse autorevoli. Tuttavia, attendere che Googlebot rilevi queste modifiche da solo significa sprecare tempo. Per accelerare la scansione serve un’azione tattica e combinata.* *I quattro passaggi fondamentali per guidare il crawler:* – *Incentiva la scansione con la Search Console: Per le pagine prioritarie, usa lo strumento Ispezione URL e clicca su "Richiedi indicizzazione". Il metodo è manuale e ha limiti giornalieri, ma garantisce priorità.* – *Sfrutta l'Indexing API: Oltre le direttive ufficiali (limitate a lavoro ed eventi), l'API di Google funziona nella pratica per quasi ogni URL. L'uso di script o plugin come Instant Indexing invia un ping diretto a Mountain View.* – *Gestisci 301 e Sitemap: Applica reindirizzamenti 301 dai vecchi URL eliminati verso la nuova pagina pilastro per trasferirne il valore. Pulisci subito la Sitemap XML aggiornando il tag <lastmod>.* – *Sfrutta la maglia dei link interni: Google scansiona la Home e le categorie con maggiore frequenza. Inserire un link alla pagina aggiornata dalle sezioni più visibili forza la scoperta immediata del contenuto".*

Luisella Curcio, SEO Specialist, Fra Moka & Digitale

L’alleanza e il convitato di pietra

Al lancio, IndexNow non era un’iniziativa isolata. Da un lato si è formata una cordata di nomi pesanti: grandi siti come eBay, LinkedIn, MSN, GitHub e Bizapedia avevano già adottato l’API di invio URL di Microsoft Bing Webmaster e stavano pianificando la migrazione al nuovo protocollo. Cloudflare ha dichiarato il proprio supporto, spiegando di poter osservare le tendenze nel modo in cui crawler e bot accedono alle risorse dei siti, così da inviare segnali proattivi su quali scansioni avrebbero probabilmente prodotto contenuti freschi e quali no. Akamai, dal canto suo, ha annunciato l’intenzione di integrare IndexNow per migliorare le esperienze offerte ai propri clienti. Dall’altro lato, però, c’era il motore che muove la maggior parte del traffico di ricerca globale: Google. E il suo comportamento, fin da subito, è stato tutt’altro che un’adesione entusiasta.

Nel novembre 2021, a distanza di poche settimane dall’annuncio, un portavoce di Google si è limitato a dichiarare che l’azienda era incoraggiata dal lavoro per rendere la scansione del web più efficiente e che avrebbe testato i potenziali benefici del protocollo — parole raccolte da Search Engine Journal, non un impegno concreto. Nessuna adozione, nessuna data, nessun coinvolgimento pubblico paragonabile a quello di Bing o Cloudflare. Solo un test, generico e senza scadenza. Nel frattempo, quasi due anni dopo, Google ha fatto una mossa che suona quasi paradossale: a giugno 2023 ha deprecato il supporto per il ping delle sitemap, comunicando che l’endpoint avrebbe smesso di funzionare entro sei mesi. Un metodo di notifica veniva chiuso, mentre l’alternativa proposta dalla concorrenza restava relegata a un esperimento senza impegni. Eppure, mentre Bing tesseva la sua rete di adesioni, Mountain View osservava in silenzio.

Energia, controllo e il punto di non ritorno

Che cosa significano, in termini di risorse e di potere, quelle percentuali di traffico sprecato? Ogni richiesta di un crawler che non produce nulla è comunque un costo: banda consumata, cicli di CPU bruciati, server che devono rispondere anche quando non c’è nulla di nuovo da mostrare. Moltiplicato per l’intero web, quello spreco diventa un problema di scala industriale, con implicazioni energetiche che nessuno, finora, ha davvero quantificato pubblicamente. E qui si apre una domanda che va oltre l’efficienza tecnica: chi controlla il meccanismo di scoperta dei contenuti, controlla anche la velocità con cui un sito può competere. Se il tuo aggiornamento raggiunge l’indice di un motore di ricerca in pochi secondi grazie a un ping, e quello di un concorrente aspetta giorni perché dipende dalla pazienza di un crawler tradizionale, non è più solo una questione di banda risparmiata: è una questione di visibilità, e quindi di soldi. Entro settembre 2023, secondo quanto riportato da Wikipedia, oltre 60 milioni di siti web utilizzavano IndexNow. Un numero che, isolato, sembra un successo. Ma è anche un numero che va misurato contro le dimensioni del web indicizzabile: una fetta consistente sì, ma tutt’altro che universale, e soprattutto priva del pieno coinvolgimento del motore di ricerca dominante a livello globale.

È qui che il discorso smette di essere tecnico e diventa una questione di potere di mercato. Un protocollo aperto che promette di ridurre gli sprechi di crawling dovrebbe essere nell’interesse di tutti: dei webmaster, che risparmiano risorse server; degli utenti, che ottengono risultati di ricerca più aggiornati; persino dei motori di ricerca stessi, che potrebbero allocare meglio la propria capacità di calcolo. Eppure Google, che pure dichiara di essere incoraggiata dai lavori per rendere la scansione del web più efficiente, non ha mai reso pubblico un impegno equivalente a quello di Bing, Cloudflare o Akamai. Si potrebbe leggerla come prudenza tecnica. Si potrebbe leggerla, con altrettanta legittimità, come la riluttanza di chi controlla già il meccanismo di scoperta dei contenuti a cedere anche solo un pezzo di quel controllo a un protocollo nato altrove, e sostenuto proprio dal principale concorrente nel mercato della ricerca. La domanda, oggi, non è se IndexNow funzioni — i numeri dicono di sì, almeno in parte. La domanda è se sia mai stato permesso di funzionare fino in fondo.

IndexNow ha acceso un faro sulla più grande inefficienza del web: uno spreco misurabile, documentato, che pesa su server, banda ed energia in tutto il pianeta. Ma un faro, da solo, non basta a illuminare un intero deserto. E quando il custode di gran parte del traffico globale decide di guardare altrove — testando senza impegnarsi, deprecando alternative senza adottarne di nuove — quella luce rischia di restare un esperimento isolato, invece che la soluzione che avrebbe potuto essere.