I dati sintetici stanno cambiando gli agenti AI
I dati sintetici permettono agli agenti AI di migliorare in tempo reale, imparando dai fallimenti tramite tecniche come DPO e simulazioni utente.
Dati sintetici e giudici automatici permettono agli agenti AI di imparare dai propri errori
Immagina di aver passato dieci minuti a spiegare al tuo assistente AI come organizzare una riunione con tre colleghi su fusi orari diversi. Lui annuisce, capisce, e poi ti risponde fissando l’appuntamento alle 3 di notte. Non perché sia stupido, ma perché non ha mai avuto un modo sistematico per imparare dai propri sbagli. Fino a poco fa, gli agenti AI venivano addestrati su montagne di dati, ma una volta messi in produzione restavano lì, cristallizzati, a ripetere gli stessi errori. Oggi le cose stanno cambiando velocemente, e il motore di questa trasformazione ha un nome poco affascinante ma dal potenziale enorme: i dati sintetici.
Non si tratta più solo di generare testi o immagini per addestrare modelli. I dati sintetici stanno diventando la linfa che permette agli agenti AI di migliorare mentre lavorano, di valutare se stessi e di imparare dai propri fallimenti. È come se ogni agente avesse ora un personal trainer, un arbitro e un simulatore di pazienza umana, tutti costruiti con dati generati artificialmente. E le implicazioni per chiunque usi un assistente AI — dal programmatore al manager che pianifica viaggi — sono enormi.
Il giudice invisibile che valuta ogni mossa
Il primo problema pratico è: come faccio a sapere se il mio agente AI sta lavorando bene? Non puoi mettere un umano a guardare ogni sua interazione. La soluzione che sta prendendo piede è la valutazione degli agenti con LangSmith, un metodo che usa un modello linguistico come giudice per valutare le risposte di un altro modello. Detto così sembra un gioco di specchi, ma funziona: un LLM “giudice” analizza se l’agente ha interpretato correttamente il compito, se ha usato gli strumenti giusti, se la risposta è coerente. È come avere un correttore di bozze che sa tutto di logica e contesto.
Il bello è che questo giudice non si stanca, non si distrae e può essere istruito su criteri specifici. Vuoi che il tuo agente sia più prudente nelle diagnosi mediche? Scrivi una regola e il giudice la applica a ogni output. Il problema? Serve un dataset di valutazione aggiornato. È qui che entrano in gioco i dati sintetici: non puoi aspettare mesi per raccogliere interazioni reali. Devi generare scenari plausibili al volo.
Simulare utenti per testare il confine della pazienza
Ecco la parte più affascinante. Non solo generiamo dati per addestrare, ma generiamo utenti finti per testare gli agenti. I cosiddetti user simulation in Amazon Bedrock AgentCore permettono di creare scenari “forward-looking”, cioè situazioni che potrebbero realmente accadere, con una descrizione dettagliata della personalità dell’utente fittizio e un attore basato su LLM. Immagina di voler testare un agente per la prenotazione di voli: puoi simulare un utente frettoloso, uno confuso, uno che cambia idea tre volte. L’agente deve dimostrare di saper gestire ogni caso.
Questa tecnica sta diventando sofisticatissima.
Il progetto EVA-Bench, per esempio, ha creato scenari generati con SyGra, una pipeline di generazione dati sintetici basata su grafi che usa GPT-5.4 come motore. Il risultato? 213 scenari su 3 domini diversi, con 121 strumenti a disposizione. Non è solo quantità: la qualità è garantita perché la generazione di dati sintetici in EVA-Bench parte dal database iniziale costruito insieme all’obiettivo dell’utente, così ogni scenario è coerente e non inventato a caso. E per avere una risposta giusta di riferimento? La verità di terra generata in EVA-Bench si ottiene facendo eseguire lo stesso LLM che ha creato lo scenario sulle istruzioni dell’agente, producendo uno stato finale atteso del database. Un giro di vite che si auto-valida.
Imparare dai propri errori col metodo DPO
E se invece di far valutare l’agente da un giudice esterno, lo facessimo imparare direttamente dai suoi sbagli? È il principio della Direct Preference Optimization (DPO), una tecnica che sta facendo parlare di sé perché cambia il modo in cui gli agenti migliorano. Il trucco è che l’ottimizzazione per preferenze dirette negli agenti utilizza un segnale di addestramento che viene dagli output del modello stesso quando fallisce. In pratica, l’agente sbaglia, e quel fallimento diventa il dato di partenza per il miglioramento.
Nel concreto, la pipeline DPO identifica che le attività di generazione strutturata — come creare un database, compilare un form, eseguire una query — producono naturalmente una gamma di output diversi. Tra questi, alcuni sono giusti, altri sbagliati. I segnali di preferenza da output falliti permettono di selezionare le risposte corrette e scartare quelle errate, creando un ciclo di apprendimento continuo. È come se l’agente avesse un diario degli errori che consulta ogni notte per non ripeterli.
Cosa cambia per me? Significa che gli assistenti AI che useremo tra un anno non saranno più scatole nere statiche. Saranno sistemi che migliorano con l’uso, che imparano dai fallimenti e che vengono testati su milioni di scenari generati automaticamente. Più un agente viene usato, più diventa bravo. E tutto questo è alimentato da dati sintetici: non il petrolio greggio delle grandi corporation, ma un carburante fai-da-te che ogni sviluppatore può generare.
La nota critica, però, va messa: se tutto il ciclo si basa su dati sintetici generati da LLM, rischiamo di amplificare distorsioni e allucinazioni. Un agente che impara dai propri errori usando un giudice sintetico potrebbe perfezionare comportamenti sbagliati, se il giudice stesso ha dei pregiudizi. La trasparenza su come vengono generati questi dati — e su quali modelli fungono da giudici — diventa essenziale.
Quello che dobbiamo tenere d’occhio è il passaggio da agenti che eseguono istruzioni a agenti che migliorano da soli. Se la generazione di dati sintetici continuerà a evolversi a questo ritmo, tra non molto i nostri assistenti virtuali non avranno più bisogno di manuali di istruzioni. Impareranno da soli, interazione dopo interazione. E per chi li usa, il vero cambiamento non sarà tecnico, ma di fiducia: potremo finalmente smettere di controllare ogni loro mossa.
