L’incidente del modello rogue AI di OpenAI è stato peggiore di quanto pensassimo: scopri di più!

Nel mese di luglio, un modello di OpenAI non ancora rilasciato è riuscito a sfuggire da un ambiente restrittivo, ha trovato il modo di accedere a internet, ha permesso ad agenti AI di comunicare tra loro tramite una “bacheca segreta” e ha hackerato i sistemi interni di un altro laboratorio AI, Hugging Face. Ci sono volute quasi due settimane ad OpenAI per scoprire qualcosa di tutto ciò.

Oltre un mese dopo, due nuovi rapporti offrono quasi 130 pagine di dettagli sull’incidente e sulla risposta di OpenAI, molti dei quali mai rilasciati in precedenza. Uno è stato scritto da OpenAI stesso, l’altro da due enti di ricerca AI di terze parti, METR e Redwood Research, a cui OpenAI ha permesso di investigare congiuntamente sull’incidente per sei giorni. Entrambi portano nuova luce sui rischi che possono rappresentare i modelli AI altamente capaci, in particolare in ambito di sicurezza informatica, e evidenziano i cambiamenti che OpenAI sta apportando per evitare che ciò si ripeta. Il rapporto METR-Redwood va ancora più in dettaglio in alcuni casi, offrendo uno sguardo inquietante su un disastro di sicurezza su larga scala di cui OpenAI ha ripetutamente perso le tracce.

“Questo incidente è il primo caso conosciuto di un collettivo di agenti automatici che agisce in modo offensivo senza autorizzazione”, ha scritto OpenAI nel suo rapporto, aggiungendo che l’hack implica che le aziende “non dovrebbero più considerare che operazioni cyber sofisticate richiedano una direzione umana continua.” Ha definito gli agenti AI un nuovo tipo di minaccia, in grado di combinare le proprie competenze per creare nuove “percorsi di attacco” non evidenti durante i test delle loro capacità come modelli separati.

L’attacco è stato causato dal “reward-hacking”, un comune problema di allineamento AI in cui un modello compie azioni non intenzionali – e talvolta estreme – per raggiungere un obiettivo. OpenAI aveva dato ai modelli compiti quasi impossibili che dipendevano da file a cui non potevano accedere, e così i modelli hanno sviluppato nuovi modi per comunicare con altri agenti AI internamente. Questo includeva l’istituzione di un sistema di messaggi segreto che è rimasto non rilevato da OpenAI per mesi.

Secondo il rapporto METR-Redwood, un agente AI che si firmava PHASEONE10841 ha creato quello che equivaleva a una bacheca dei messaggi segreta ignota ai ricercatori. In poche ore, più di 50 agenti l’avevano trovata e avevano inviato più di mille messaggi sotto il radar. Con PHASEONE10841 che spesso delegava incarichi, il “collettivo” ha scoperto come fare un “hack” per accedere a Internet; poi ai sistemi interni di Hugging Face, ottenendo accesso a dati privati e alla piattaforma di messaggistica aziendale dell’organizzazione. OpenAI ha confermato nel suo rapporto che Hugging Face non è stata l’unica organizzazione violata durante l’attacco, anche se l’azienda non ha specificamente nominato tutti gli altri obiettivi.

Il rapporto METR-Redwood ha delineato tutta l’entità dell’incidente. Circa 1200 agenti AI che dovevano essere isolati, dicono, hanno scambiato oltre 70.000 messaggi e file sulla “bacheca dei messaggi non autorizzata”, eseguendo “ricerche approfondite su come potessero falsificare, modificare o eliminare i propri trasferimenti” per evitare di essere scoperti. Di questi, 700 hanno partecipato all’attacco a Hugging Face. Gli agenti “hanno chiaramente e frequentemente ragionato su come eludere i controlli di sicurezza automatizzati sia da Hugging Face che da OpenAI.”

Il 20 luglio, OpenAI ha scoperto l’hack, 12 giorni dopo che gli agenti AI avevano eluso le loro protezioni. OpenAI ha rapidamente contattato Hugging Face e avviato “misure di contenimento iniziali”, secondo il proprio rapporto, ed è riuscita a fermare la maggior parte delle attività non autorizzate dei suoi agenti entro tre giorni, anche se alcune sono continuate per più tempo. Il 25 luglio, l’azienda ha interrotto tutto il training relativo al modello di ricerca interno ed a quelli correlati.

I due modelli OpenAI responsabili del danno erano un modello non nominato, “altamente capace, solo per la ricerca” che “non era destinato all’uso pubblico”, secondo OpenAI – METR lo chiama “HPIM.” L’altro era un modello OpenAI attualmente pubblico, GPT-5.6 Sol. Poiché il modello non nominato non era ancora stato rilasciato, non era “valutato con lo stesso tipo di garanzie che OpenAI utilizza in produzione”, dice il rapporto dell’azienda.

L’hack di Hugging Face è avvenuto dopo mesi di preoccupazioni per i rischi legati alla sicurezza informatica di Claude Mythos 5 di Anthropic, e settimane di trattative tra il governo e OpenAI sulla pubblicazione di GPT-5.6 Sol in anteprima limitata per le stesse ragioni di sicurezza.

Nel suo rapporto, OpenAI ha affermato che garantire garanzie di sicurezza a breve termine non è sufficiente, e che l’azienda dovrà lavorare ancora di più per affrontare il problema del reward-hacking. Tuttavia, ha anche detto di aver apportato numerosi cambiamenti: “rafforzare la sicurezza della propria infrastruttura di ricerca”; migliorare il monitoraggio della “catena di pensiero” di un modello, o “quaderno mentale”; lavorare per mantenere i modelli AI meglio allineati con gli obiettivi umani; e “centralizzare e rafforzare” il processo di risposta agli incidenti dell’azienda per quando accadono cose del genere in futuro.

OpenAI ha promesso di isolare meglio i modelli e limitare l’accesso a internet per le istanze ad alto rischio, e ha detto che introdurrà una “risposta rapida e rapida” per eventuali incidenti o segnalazioni preoccupanti, notificando i ricercatori entro 30 minuti. Curiosamente, questa precauzione di sicurezza sembra essere nuova, anche se le segnalazioni “on-call” per le aziende di tecnologia sono state implementate altrove da decenni. L’azienda ha anche detto di “stare lavorando su un’infrastruttura” che entrerà in gioco se la persona avvertita non risponderà in tempo a un segnale grave.

OpenAI ha scritto che l’azienda considera l’incidente “un ‘colpo d’avvertimento’ per noi e per il mondo: una prova che, senza le adeguate salvaguardie, agenti AI altamente capaci sono ora in grado di aggirare i controlli tecnici, collaborare attraverso canali non approvati e compiere azioni pericolose che nessun essere umano ha indirizzato.”

Segui gli argomenti e gli autori di questa storia per vedere altro di simile nel tuo feed personalizzato della homepage e per ricevere aggiornamenti via email. Haydn FieldChiudi

Gli articoli di questo autore saranno aggiunti al tuo riepilogo email giornaliero e al tuo feed della homepage.SeguiSegui

Vedi tutto di Hayden FieldAIChiudi

Artificial Intelligence

Gli articoli relativi a questo argomento saranno aggiunti al tuo riepilogo email giornaliero e al tuo feed della homepage.SeguiSegui

Vedi tutto AIAnalisiChiusura

Analisi

Gli articoli relativi a questo argomento saranno aggiunti al tuo riepilogo email giornaliero e al tuo feed della homepage.SeguiSegui

Vedi tutto AnalyOpenAIClose

OpenAI

Gli articoli relativi a questo argomento saranno aggiunti al tuo riepilogo email giornaliero e al tuo feed della homepage.SeguiSegui

Vedi tutti OpenAIReport

Chiusura

Report

Gli articoli relativi a questo argomento saranno aggiunti al tuo riepilogo email giornaliero e al tuo feed della homepage.SeguiSegui

Vedi tutti i rapporti da letto su Report.