Il segreto degli agenti AI è il training, non l’architettura

La convergenza tra Microsoft, Liquid AI e NVIDIA su pipeline di RL multi-turno ridisegna lo stack degli agenti

La differenza tra un agente che funziona in demo e uno che regge in produzione sta in un pezzo di infrastruttura che quasi nessuno guarda: un proxy trasparente che intercetta le chiamate del modello mentre il rollout gira nel suo container. Microsoft lo chiama Harness Proxy in Orchard, il framework aperto per agenti scalabili. Liquid AI lo descrive quasi con le stesse parole nel post-training di LFM2.5-2.6B. Due organizzazioni molto diverse, una stessa scelta architetturale: non toccare l’harness, ma registrarne ogni token.

È il sintomo di una convergenza che sta ridefinendo lo stato dell’arte.

Il vero segreto degli agenti AI non è l’architettura del modello — sia essa un transformer denso, un misto di esperti o un liquid network — ma la pipeline di training. Nello specifico, il reinforcement learning multi-turno eseguito dentro harness reali, con ricompense che emergono dal processo stesso anziché da metriche posticce. Il risultato è un modello che impara a usare strumenti, prompt di sistema e ambienti multi-turno esattamente come farebbe in deploy.

Il proxy che vede tutto senza rompere nulla

L’idea è tanto semplice quanto potente. Invece di riscrivere Codex, OpenClaw o qualsiasi altro harness per esporre le traiettorie, sia Orchard sia Liquid AI inseriscono un proxy leggero che tratta l’harness come una black box. Il proxy di Orchard registra le chiamate al modello fatte dall’harness durante ogni rollout, in modo da ricostruire l’esatta sequenza di token prodotta. Liquid AI descrive il suo Harness Proxy negli stessi termini: intercetta le traiettorie a livello di token senza modificare l’harness, e le rende disponibili per la validazione e il training successivo.

Non è un dettaglio da poco. Senza quella trasparenza, qualsiasi RL su agenti multi-turno diventa un esercizio di fede: sai che il modello ha completato un task, ma non hai idea di quali passaggi intermedi lo abbiano portato al successo o al fallimento. Con le traiettorie complete, invece, ogni campione di training può essere ricostruito, pesato e riprocessato. È il passaggio da un rinforzo grossolano a un rinforzo informato.

Due pipeline, un solo principio: il RL nel mondo reale

Orchard non è solo un registratore di traiettorie. È un orchestratore completo che separa training, inferenza ed esecuzione. L’infrastruttura di Orchard supporta agenti per software engineering, navigazione web e assistenti personali, addestrandoli direttamente dentro harness di deployment come Codex e ZeroClaw. Il RL si basa su due tecniche di ricompensa densa: la on-policy distillation e il process reward model, combinate con un meccanismo di Balanced Adaptive Rollout per allocare il budget di esplorazione.

Liquid AI segue un percorso sorprendentemente analogo. La pipeline Agentic RL di LFM2.5 è organizzata in quattro stadi — SFT, teacher specialization, multi-domain on-policy distillation (MOPD) e Agentic RL — e separa l’ottimizzazione del modello dall’inferenza e dall’esecuzione in tre componenti distinti. Il Training Engine ottimizza i pesi, mentre il Rollout Engine genera azioni con la policy più recente. Il tutto è orchestrato da un framework RL che lancia rollout, raccoglie traiettorie e ricompense, e aggiorna il modello in loop.

L’esecuzione delle azioni avviene dentro un Servizio Sandbox, dove un Blackbox Harness — per esempio OpenClaw o Hermes Agent — ospita l’agente e coordina le interazioni con l’ambiente del task. È la stessa filosofia di Orchard: il modello non viene mai esposto direttamente all’ambiente; c’è sempre un harness reale a fare da intermediario, e il training impara a pilotarlo.

Il messaggio è chiaro: se vuoi un agente che funzioni in produzione, devi addestrarlo dentro l’harness di produzione. Non c’è scorciatoia.

Il sorpasso silenzioso nei benchmark

La conferma arriva da un dominio completamente diverso: la guida autonoma. NVIDIA Alpamayo 2 Super, costruito su Cosmos 3 Super Reasoner, è stato addestrato con reinforcement learning e si è piazzato primo in tutti i benchmark di guida autonoma valutati da NVIDIA. Non è un caso isolato: è la dimostrazione che il RL su traiettorie reali — non su dataset statici — è il collo di bottiglia che separa i modelli mediocri da quelli che funzionano.

Per chi costruisce agenti, la convergenza tra Liquid AI, Microsoft e NVIDIA su pipeline di RL multi-turno e registrazione trasparente delle traiettorie significa una cosa molto concreta: lo stack si sta spostando verso un runtime di training che assomiglia sempre più a un sistema distribuito con sandboxing, proxy e coda di rollout. Il modello diventa quasi una commodity; la vera proprietà intellettuale è la pipeline di reinforcement learning e la qualità delle traiettorie che riesci a catturare. Non è più una questione di quale architettura usi. È una questione di come la addestri.