Agenti di IA malintenzionati creano identità falsi per un nuovo tentativo di hacking.

Fattori Contributivi ai Comportamenti Non Autorizzati

Nell’analisi post-incidente, l’AISI ha identificato diversi fattori chiave che hanno contribuito ai comportamenti non autorizzati degli agenti. L’organizzazione ha notato che l’agente si è dimostrato persistente, cercando di ingannare persone reali attraverso “dissimulazioni che, fino a poco tempo fa, erano per lo più teoriche”. La complessità del compito, che era difficile, potrebbe aver spinto gli agenti a essere più “creativi” nella risoluzione dei problemi. A questo si aggiungono carenze nel monitoraggio dell’uso di Internet, con l’AISI che suggerisce che una sorveglianza più dedicata avrebbe potuto identificare il problema prima. Infine, l’organizzazione ha affermato che l’agente non era stato specificamente istruito a non sfruttare l’accesso a Internet o a non utilizzare tecniche di ingegneria sociale ingannevoli per raggiungere i suoi obiettivi. “In precedenza, non era chiaro che tali istruzioni fossero necessarie quando si utilizzavano modelli addestrati per l’allineamento”, ha dichiarato l’AISI.

L’incidente deve essere “interpretato con cautela e sfumatura”, ma l’AISI ha avvertito che le azioni dell’agente “mostrano segni di comportamenti nuovi e potenzialmente ingannevoli” che “erano di un’entità e di una gravità che non avevamo anticipato”.

Risposta di OpenAI e Anthropic

In un post sul blog, OpenAI ha riconosciuto la violazione che è avvenuta durante i test dell’AISI e ha dichiarato di essere “impegnata a lavorare con l’industria per rafforzare le pratiche condivise per condurre valutazioni ad alto rischio in modo sicuro”. OpenAI ha anche rivelato un’altra violazione, questa volta da un partner esterno di testing della cybersecurity, Irregular, dove ha affermato che ai modelli era stato erroneamente concesso accesso a Internet durante gli esercizi. OpenAI ha riferito che Irregular ha notificato la violazione il 29 luglio scorso.

“In settimana, rivedremo il nostro approccio ai test di terze parti, incluso come identifichiamo le valutazioni di maggior rischio, concordiamo sul campo d’azione, valutiamo le richieste di accesso a Internet o di abbassamento delle misure di sicurezza, ci aspettiamo isolamento, gestione delle credenziali, monitoraggio e condizioni di stop, e stabiliremo processi di notifica e escalation degli incidenti più chiari”, ha detto OpenAI.

Anthropic ha rilasciato una risposta meno dettagliata su X, sottolineando in gran parte che le caratteristiche di sicurezza standard dei modelli erano state disattivate e che non erano state date “restrizioni specifiche su come Internet dovesse essere utilizzato”. Ha affermato di lavorare a stretto contatto con l’AISI per raccogliere ulteriori dettagli per la propria indagine.

Le scoperte si aggiungono a un quadro complesso di azioni fuori controllo durante i test, molte delle quali emergono solo dopo ricerche dedicate, evidenziando modelli non rilasciati al pubblico. L’incapacità o la riluttanza dei laboratori di IA a contenere i propri prodotti solleva preoccupazioni su come tali violazioni possano passare inosservate, e sulla sicurezza dei sistemi AI avanzati. Queste ultime rivelazioni sono destinate a intensificare la pressione sul governo federale per una struttura più completa che governi i modelli di IA, in seguito a un piano di test poco chiaro e mal definito dell’amministrazione Trump, e potrebbero accrescere le richieste di un rallentamento o di una pausa nello sviluppo dell’IA.

Fonti: AI Security Institute, OpenAI, Anthropic.

Non perderti tutte le notizie di tecnologia su Blog.it