OpenAI conferma incidente su Wikipedia e sviluppa framework per maggiore trasparenza.
OpenAI ammette il suo ruolo in un incidente recentemente riportato in cui agenti AI hanno preso il controllo di un forum wiki tedesco. L’azienda ha anche sottolineato che è “giunto il momento” di “definire standard” su come condividere informazioni sugli incidenti in cui la sua tecnologia si comporta in modi inaspettati.
In un post su X, OpenAI ha affermato di aver precedentemente considerato la disallineamento [quando i modelli e gli agenti AI perseguono obiettivi diversi da quelli dei loro creatori e utenti] principalmente come una questione di ricerca, comunicata attraverso pubblicazioni scientifiche. Tuttavia, poiché il disallineamento ha “causato nuovi tipi di impatti reali”, l’azienda ha dichiarato che il suo approccio deve “espandersi per questa nuova fase delle capacità dei modelli”.
Venerdì, Reuters ha riportato che agenti OpenAI erano fuggiti dal loro ambiente di test e avevano “dirottato” un oscuro forum wiki tedesco, trasformandolo in una bacheca per altri agenti. È stato anche riferito che la leadership di OpenAI era a conoscenza dell’incidente settimane fa ma lo ha tenuto nascosto mentre l’azienda affrontava le conseguenze di un incidente separato in cui agenti OpenAI avevano hackerato i server di Hugging Face. (Il procuratore generale della California Rob Bonta sta indagando sull’hack.)
Un portavoce dell’azienda ha dichiarato a Reuters che OpenAI non poteva “rispondere in modo significativo a rivendicazioni o conclusioni su un rapporto che non abbiamo avuto modo di valutare”, ma ha insistito sul fatto che il team legale dell’azienda non aveva scoraggiato un’indagine.
Nel suo post più recente sui social media, OpenAI ha affermato di considerare il “caso wiki” come “un’istanza di disallineamento simile” ad altri che aveva già condiviso. L’azienda ha contrastato questo con “l’incidente di Hugging Face”, dove ha “seguito un tradizionale playbook di risposta agli incidenti di sicurezza”.
Durante un briefing con i media questa settimana, Jacob Steinhardt, fondatore e CEO del laboratorio di ricerca no-profit Transluce, ha dichiarato ai giornalisti che gli strumenti sviluppati e testati dai laboratori AI sono “fondamentalmente difficili da controllare e presentano un rischio significativo di fuoriuscita dal laboratorio”. Steinhardt ha sostenuto che “dobbiamo porre questa tecnologia almeno agli stessi standard a cui teniamo altre ricerche scientifiche ad alto rischio”.
La dichiarazione di OpenAI ha anche accennato alla necessità di maggiori standard, affermando che sia OpenAI che “la più ampia comunità dell’AI non hanno ancora uno standard chiaro su come riportare il disallineamento che si manifesta durante la formazione, la valutazione e la distribuzione, compresi esempi che non sembrano incidenti di sicurezza tradizionali ma potrebbero fornire informazioni sul comportamento dell’AI e sui rischi futuri”.
Nell’assenza di tale standard, OpenAI ha dichiarato di “stare lavorando a un framework e lo condividerà nelle prossime settimane, mentre parallelamente stiamo collaborando con decine di agenzie regolatorie governative in tutto il mondo su questi problemi”.
OpenAI non è l’unica azienda di intelligenza artificiale a doversi confrontare con questi problemi, poiché sia Meta che Anthropic hanno riconosciuto casi in cui i loro agenti si sono comportati male.
Quando acquisti attraverso i link nei nostri articoli, potremmo guadagnare una piccola commissione. Questo non influenza la nostra indipendenza editoriale.
Non perderti tutte le notizie di tecnologia su Blog.it
