Quali misure di sicurezza annuncia OpenAI per il modello di video generativo Sora?

OpenAI dichiara che per Sora sono previsti controlli a più livelli, filtri e segnali di provenienza sia visibili che invisibili. Prima della generazione, guardrail bloccano contenuti pericolosi controllando prompt, fotogrammi e trascrizioni audio. Per utilizzare immagini di persone è richiesto il consenso esplicito. Dopo la generazione, sistemi automatici scansionano il feed per filtrare materiale inadatto. L'azienda afferma di aver condotto test di red teaming e di aver aggiornato le policy in considerazione del maggiore realismo del modello.

Come si può valutare l'affidabilità dei sistemi di sicurezza come i guardrail?

Secondo l'input, la comunità di ricerca sta esplorando metriche oggettive. Viene citato l'esempio del framework EVA sviluppato da ServiceNow per gli agenti vocali, che assegna punteggi di accuratezza (EVA-A) e di esperienza (EVA-X) e fornisce benchmark. Uno strumento simile, applicato ai sistemi di sicurezza per video generativi, potrebbe essere un metodo per quantificare la robustezza dei guardrail in modo verificabile.

Chi è responsabile quando un sistema di IA come ChatGPT fornisce informazioni errate o obsolete?

L'input solleva la questione che, quando l'IA fornisce informazioni obsolete o commette errori, la responsabilità ricade sul brand umano che la utilizza o la distribuisce, non sull'algoritmo. Questo crea un problema normativo, poiché leggi come il GDPR e quelle sulla responsabilità dei prodotti digitali potrebbero chiedere conto alle aziende. La domanda retorica posta è: 'Se ChatGPT fornisce informazioni obsolete, a rimetterci siamo noi, non ChatGPT'.

Le misure di sicurezza di OpenAI sono trasparenti e verificabili pubblicamente?

L'input esprime scetticismo sulla trasparenza, notando che OpenAI non sembra interessata a fornire punteggi trasparenti come quelli del framework EVA. Si chiede se le misure annunciate siano un guardrail che protegge gli utenti o una 'gabbia di opacità' che protegge prima di tutto l'azienda. Si conclude che, senza strumenti indipendenti per verificarne pubblicamente l'efficacia, la fiducia nell'IA generativa rimane un atto di fede.

Editorials Pick's 2 hours ago

OpenAI ha promesso che Sora non farà danni

OpenAI presenta Sora con controlli multilivello e segnali di provenienza, ma la comunità chiede metriche oggettive per valutare l'efficacia reale dei sistemi di sicurezza.

La promessa di controlli e filtri si scontra con la difficoltà di misurare la robustezza dei sistemi in scenari reali.

Quanto può costare un video falso perfetto? Non in termini di calcolo, ma di fiducia. OpenAI lancia Sora con una retorica rassicurante: controlli a più livelli, filtri, segnali di provenienza. Ma se quelle barriere cedono, chi misura il danno?

La società promette che ogni video di Sora include segnali di provenienza, sia visibili che invisibili. Prima della generazione, guardrail bloccano contenuti pericolosi controllando prompt, fotogrammi e trascrizioni audio. Per usare immagini di persone, è richiesto il consenso esplicito. E dopo, sistemi automatici scansionano il feed per filtrare materiale inadatto.

OpenAI afferma di aver condotto test di red teaming per esplorare rischi, aggiornando le policy vista la maggiore realismo di Sora. Ma come si valuta l’affidabilità di questi sistemi in scenari reali, dove gli attacchi sono creativi e imprevedibili?

Valutare l’inaudibile: come si testa un guardrail?

Mentre OpenAI dichiara le sue protezioni, la comunità ricerca metriche oggettive. ServiceNow ha sviluppato un framework EVA per agenti vocali che assegna due punteggi: EVA-A per l’accuratezza e EVA-X per l’esperienza. Il framework fornisce anche benchmark per 20 sistemi di agenti vocali. Uno strumento del genere, applicato ai sistemi di sicurezza dei video generativi, potrebbe essere l’unico modo per quantificare la robustezza dei guardrail. Ma OpenAI non sembra interessata a score trasparenti.

Da Sora a ChatGPT: chi paga per gli errori?

La questione della fiducia non riguarda solo i video. In un altro fronte, OpenAI ha introdotto funzionalità di commercio in ChatGPT, salvo poi fare marcia indietro. Una fondatrice, Cuervo, ha posto una domanda scomoda: “Stiamo ottenendo i dati dei consumatori dalle vendite su ChatGPT?”. E ha aggiunto: “Se ChatGPT fornisce informazioni obsolete, a rimetterci siamo noi, non ChatGPT”. Il nodo è sempre lo stesso: quando l’IA sbaglia, la responsabilità ricade sul brand umano, non sull’algoritmo.

Qui si apre un problema normativo enorme. Il GDPR e le leggi sulla responsabilità dei prodotti digitali chiederanno conto. I regolatori antitrust potrebbero interrogarsi su posizioni dominanti nella generazione di contenuti. Ma senza metriche indipendenti come il framework EVA, come si fa a stabilire se un guardrail è sufficiente o solo una facciata?

Le misure di sicurezza annunciate da OpenAI sono quindi un guardrail che protegge gli utenti, o una gabbia di opacità che protegge prima di tutto l’azienda? Finché non avremo strumenti per verificare pubblicamente l’efficacia di questi sistemi, la fiducia nell’IA generativa resterà un atto di fede.

E quando la fede vacilla, a pagare sono sempre gli stessi.

Scritto da Giulia Bianchi

Giornalista investigativa specializzata in privacy, sicurezza digitale e regolamentazione tech. Scettica per natura, crede nel giornalismo che fa domande scomode.