OpenAI ha frenato, ma l’open source sta accelerando

Le salvaguardie di OpenAI bloccano i modelli Astra mentre i sistemi locali accelerano senza vincoli

3,18 volte più veloce su GPU. 2,87 su un dispositivo. Sono i numeri dei modelli draft DSpark, che aggiungono un percorso di decodifica speculativa. Mentre OpenAI impone requisiti di sicurezza sempre più rigidi ai modelli cyber, l’inferenza locale open source preme sull’acceleratore. E il divario di sicurezza, quello vero, non è dove state guardando.

OpenAI non lo nasconde. La nota sul pacing dello sviluppo dei modelli parla di un rallentamento temporaneo dello scaling e di una pausa di due settimane nell’addestramento di reinforcement learning sui modelli più recenti destinati alla distribuzione. Non è una riga tecnica: è un’ammissione di disagio.

Il disagio ha un nome: Astra. Oggi l’azienda applica il livello più severo di salvaguardie per i carichi cyber perché ha determinato che i modelli Astra potrebbero avere capacità cyber di livello critico. In pratica: non ci si fida più del modello che si sta costruendo.

E non è una questione di qualche esperimento isolato. Un numero significativo di carichi di lavoro in pausa resta fermo finché non viene migrato e adeguato al nuovo standard di sicurezza. Vale la pena chiedersi: quanta capacità produttiva resta congelata mentre la parte aperta del settore corre?

Trenta minuti per decidere se fermarsi

Il protocollo di monitoraggio è il dettaglio più rivelatore. Il sistema di monitoraggio delle violazioni critiche emette un avviso di massima priorità e pagina i team di sicurezza, sicurezza e ricerca; se entro 30 minuti non si può escludere con certezza che il flag sia un falso positivo, l’attività va messa in pausa. Trenta minuti. In un settore dove un modello open source può triplicare la velocità di inferenza in una notte, mezz’ora è un’eternità.

E la data conta. Il 7 agosto, quando OpenAI ha stabilito che Astra poteva avere capacità cyber critiche, è scattato il requisito di monitoraggio aggiuntivo per l’inferenza di Astra con strumenti. Non a gennaio, non a settembre. Perché proprio quel giorno?

Tre virgola diciotto volte più veloce, zero salvaguardie

Dall’altra parte della barricata non ci sono task force di sicurezza. C’è una corsa ai token. La riduzione della latenza di function-calling per LFM2.5-2.6B è del 57% in media. Tradotto: le funzioni che un modello locale usa per agire su altri sistemi partono quasi il doppio più in fretta.

Sul benchmark MT-Bench, il modello LFM2.5-2.6B registra un’accettazione di 5,07 e uno speedup di 2,87x su H100, passando da 325 a 933 token al secondo; su M4 Max fa 1,99x, da 62 a 123 token al secondo. Cifre che un anno fa avrebbero richiesto un’infrastruttura remota.

Anche guardando alla media complessiva, lo speedup medio di LFM2.5-2.6B è di 2,67x su H100 (da 323 a 864 token/s) e 2,27x su M4 Max (da 61 a 139 token/s). La variabilità non cancella il punto: il costo dell’inferenza locale crolla.

E i modelli più piccoli non stanno a guardare. Le prestazioni di LFM2.5-1.2B-Instruct mostrano speedup medi di 2,10x su H100 (da 656 a 1384 token/s) e 2,54x su M4 Max (da 138 a 350 token/s). Su un portatile, 350 token al secondo sono roba da chat in tempo reale, non da esperimento.

Persino il modello più grosso della famiglia, LFM2.5-8B-A1B, arriva a 2,54x su H100 (da 418 a 1074 token/s) e 1,18x su M4 Max (da 90 a 106 token/s). L’incremento sul silicio Apple è più modesto, ma la direzione è univoca: l’inferenza locale diventa seria.

Mentre i modelli open source accelerano, le regole pretendono qualcosa di più di benchmark. Il GDPR e l’AI Act europeo, come ricorda il dibattito sul gateway decisionale dell’AI, richiedono che decisioni automatizzate significative siano spiegabili e contestabili. Spiegabile in quanti millisecondi? Il titolo di quel pezzo parla di tre millisecondi per decidere se puoi agire. Tre millisecondi non bastano nemmeno a generare un log leggibile da un umano.

Tre millisecondi per decidere, trenta minuti per fermarsi, 3,18x per correre.

Chi controlla l’acceleratore?

OpenAI ha scelto la prudenza: pausa, monitoraggio, trenta minuti per decidere. L’open source ha scelto la velocità: 3,18x su GPU, 57% di latenza in meno, benchmark che volano. La domanda non è se le salvaguardie servano.

La domanda è: quando il modello più veloce non ne ha nessuna, chi risponde?