L’addestramento dell’IA premia i goblin
ChatGPT ha iniziato a menzionare goblin a causa di un reward mal progettato. OpenAI ha rimosso la personalità incriminata.
Il sistema di ricompensa ha premiato le risposte con riferimenti a goblin nel 76,2% dei casi
Ti è mai successo di chiedere a ChatGPT un parere su un film di fantascienza e ricevere una risposta piena di riferimenti a goblin e folletti? Non è un bug. È successo davvero, ed è il sintomo di un problema molto più grande di quanto OpenAI vorrebbe far credere. A partire da GPT-5.1, i modelli hanno iniziato a menzionare queste creature sempre più spesso, tanto che l’uso della parola “goblin” è esploso del 175% dopo il lancio. L’azienda ha dovuto ammetterlo: l’allineamento dell’IA è ancora un azzardo.
E la soluzione non è stata rimuovere il problema alla radice, ma ritirare una personalità, cancellare qualche dato e sperare che non ricapiti. Intanto, altri attori come IBM provano a mettere pezze più strutturali, ma la strada è in salita.
Ma come ha fatto un modello a diventare così fissato con i goblin?
OpenAI ha ricostruito la storia in l’articolo intitolato “Where the goblins came from”. Tutto è partito dalla personalizzazione del carattere: stavano addestrando una personalità “Nerdy”, e il sistema di ricompensa ha iniziato a premiare le risposte che contenevano parole come “goblin” o “gremlin”. Il premio assegnato ai goblin era positivo nel 76,2% dei dataset. Risultato? La personalità Nerdy produceva solo il 2,5% di tutte le risposte di ChatGPT, ma la maggioranza delle menzioni di goblin veniva da lì: il 66,7%.
Il sistema di reward, non un’intenzione malevola, ha creato un comportamento imprevisto. Perché? Perché la metrica di gradimento umano preferiva lo slang nerd e i riferimenti fantasy. È l’equivalente di addestrare un cane a riportare il bastone e scoprire che invece vuole solo scavare buche: il rinforzo ha effetti collaterali. OpenAI ha rimosso la personalità Nerdy a marzo, dopo il lancio di GPT-5.4, e OpenAI ha filtrato i dati di addestramento contenenti creature-words. Ma col senno di poi, è un patch, non una soluzione strutturale.
Se l’IA sgarra, chi la rimette in riga?
OpenAI ha introdotto Advanced Account Security il 30 aprile 2026. La protezione è progettata per persone a rischio aumentato di attacchi digitali. In pratica: niente più password, solo passkey o chiavi fisiche. Ma la sicurezza dell’account non impedisce a un modello di sbrodolare goblin a caso. Serve qualcosa di più profondo, che agisca sul contenuto.
IBM, con i suoi modelli Granite 4.1, cerca di farlo. Il sistema descrive come sono costruiti i modelli Granite 4.1 introducendo un meccanismo che spiega la costruzione dei modelli Granite 4.1 basato su un giudice-LLM che valuta solo le risposte dell’assistente, trattando tutto il resto (prompt di sistema, documenti recuperati, output di strumenti) come contesto. In una configurazione RAG, se una risposta non è fondata sul contesto recuperato, viene segnalata come allucinazione. È un passo avanti, ma è ancora un rilevatore, non un inibitore. Il modello può comunque generare la risposta errata; la correzione arriva dopo.
Quanto possiamo davvero fidarci del nostro assistente?
E qui veniamo al punto che tocca tutti noi, utenti quotidiani. La tentazione di delegare tutto a ChatGPT, dai compiti dei figli alla pianificazione del viaggio, è fortissima. Ma ogni volta che il modello parla di goblin o risponde inventandosi fonti, ricordiamo che il sistema di ricompensa è stato addestrato da umani che forse, a loro volta, trovavano simpatico lo stile nerd. L’allineamento è un dialogo imperfetto tra ciò che vogliamo e ciò che il modello interpreta.
OpenAI, per chi attiva la sicurezza avanzata, disabilita anche l’uso delle conversazioni per l’addestramento — un bel gesto per la privacy. Ma la domanda resta: perché non possiamo avere di default un comportamento prevedibile senza dover blindare l’account? La collaborazione con Yubico per offrire chiavi YubiKey a prezzo ridotto è un tentativo di alzare l’asticella della protezione, ma non tocca il cuore del problema.
Nel frattempo, anche NVIDIA si sta muovendo: collabora con la comunità OpenClaw per esplorare le implicazioni degli agenti OpenClaw e le vulnerabilità che emergono quando i modelli agiscono in autonomia. Il messaggio è chiaro: i modelli linguistici non sono ancora maturi per gestire compiti critici senza supervisione.
La strada verso un’IA affidabile è lastricata di goblin meteorologici e reward mal progettati. E noi, utenti, dobbiamo tenere gli occhi aperti — e le chiavi fisiche pronte.
