Apple ha messo due bot nel robots.txt
Apple aggiorna il robots.txt con regole per i bot AI, ma il fallback su Googlebot e l'opt-out per URL sollevano questioni di controllo e privacy.
La separazione tra ricerca e training nei robots.txt diventa la nuova frontiera del controllo, con regole specifiche per ogni attore
C’è poi una regola di fallback che merita attenzione, perché cambia il comportamento di default per chi non ha mai toccato il proprio robots.txt: Applebot segue da tempo le istruzioni destinate a Googlebot quando non esistono regole specifiche per Applebot nel file. In pratica, se il vostro robots.txt parla solo a Google, Apple si comporta come se quelle regole valessero anche per lei. È un’eredità pragmatica — evita di dover configurare regole duplicate per ogni crawler — ma sposta silenziosamente potere verso chi già detta lo standard di fatto del file robots.txt. Il webmaster, in questo schema, ha il controllo: basta una riga di disallow su Applebot-Extended per tenere i propri contenuti fuori dal training. Ma cosa succede quando non è il proprietario del sito a volersi opporre, bensì la singola persona i cui dati personali compaiono in una pagina che non gestisce?
Opt-out individuale: URL specifici, controllo minimo
Qui il quadro si complica, e vale la pena separare due livelli che Apple tiene distinti: le tutele automatiche applicate a tutti, e il meccanismo di opt-out che richiede un’azione attiva dell’individuo. Sul primo fronte, Apple dichiara di non usare le interazioni private degli utenti per addestrare i modelli fondativi — l’azienda afferma esplicitamente di non utilizzare i dati personali privati o le interazioni degli utenti quando addestra i modelli fondamentali — e che Applebot non tocca contenuti dietro login o paywall. A questo si aggiunge un filtro applicato ai dati pubblici raccolti dal web, pensato per rimuovere informazioni identificabili come numeri di previdenza sociale e numeri di carte di credito prima che finiscano nei dataset.
Il paradosso emerge quando si passa dalla protezione automatica al controllo attivo. Apple mette a disposizione un modulo con cui gli individui possono opporsi alla scansione di URL contenenti i propri dati personali usati per addestrare i modelli di Apple Intelligence. Sembra un diritto forte, sulla carta paragonabile ai meccanismi di opt-out previsti da normative come il GDPR. Ma la modalità operativa racconta una storia diversa: per elaborare la richiesta, Apple richiede che l’utente fornisca gli URL esatti che contengono i propri dati personali. Non basta dichiarare “voglio essere escluso”, bisogna sapere — e dimostrare — dove esattamente compaiono le proprie informazioni sul web.
È un meccanismo di opt-out per URL, non per persona e non per sito. Chi ha un blog personale può facilmente indicare il proprio dominio. Ma chi ha dati sparsi in commenti, forum, articoli di terze parti o citazioni indirette si trova davanti a un compito quasi impossibile: individuare, uno per uno, ogni indirizzo dove la propria identità digitale è esposta. Il filtro sui dati sensibili come numeri di carte di credito funziona a livello automatico e sistemico; l’opt-out sui dati personali “ordinari” — nome, biografia, informazioni professionali — funziona solo se sai già dove cercare. È una protezione teoricamente completa e praticamente frammentata, che scarica sull’individuo un lavoro di ricerca che l’infrastruttura stessa potrebbe automatizzare.
Il webmaster al centro: Googlebot, OpenAI e il nuovo stack
Se l’opt-out individuale è frammentato, il controllo a livello di sito resta invece l’unica leva davvero efficace — e questo colloca il webmaster, non l’utente finale, al centro del sistema. La regola del fallback su Googlebot, di cui si parlava sopra, non è neutra: rende di fatto Google lo standard implicito a cui altri crawler si allineano quando mancano istruzioni esplicite. Chi scrive un robots.txt pensando solo a Google sta, senza saperlo, dettando anche il comportamento di Applebot.
Apple non è sola in questo schema, e il confronto con altri attori aiuta a inquadrare la traiettoria del settore. OpenAI ha adottato un approccio simile ma distinto: secondo la documentazione per sviluppatori pubblicata da OpenAI, l’azienda utilizza i tag robots.txt OAI-SearchBot e GPTBot per permettere ai webmaster di gestire separatamente come i propri siti interagiscono con la ricerca e con l’addestramento dei modelli. È la stessa logica di separazione funzionale che Apple applica con Applebot e Applebot-Extended, ma con nomi e regole proprie da imparare. Il risultato è che chi amministra un’infrastruttura web oggi deve conoscere e mantenere regole distinte per ogni grande attore dell’IA generativa — Apple, OpenAI, e altri crawler che si sono affacciati sullo stesso terreno — senza che esista ancora una convenzione unificata su come dichiarare l’intento di opt-out dal training.
Per chi costruisce sul web, il file robots.txt non è più solo uno strumento per parlare ai motori di ricerca. È diventato il contratto — riga per riga, user agent per user agent — con cui si negozia l’accesso all’addestramento dei modelli linguistici. E i bot, come dimostra il caso Apple, sono più di uno: la separazione architetturale tra ricerca e training è la nuova interfaccia di controllo, con tutti i vantaggi e i limiti che questo comporta per chi ha il potere di editare un file di testo e per chi, invece, deve solo sperare che qualcuno lo faccia per lui.
