OpenAI avverte: i browser AI potrebbero rimanere sempre vulnerabili ad attacchi di injection.
Pubblicato il da Ignazio Aragona - Tecnologia
Cyberattacchi e l’Intelligenza Artificiale di OpenAI
OpenAI sta attivamente lavorando per rinforzare il proprio browser Atlas AI contro i cyberattacchi. Tuttavia, la compagnia ammette che il rischio di attacchi di “prompt injection” — un metodo che manipola gli agenti AI per seguire istruzioni malevoli nascoste in pagine web o email — rimane una minaccia persistente. Questo solleva interrogativi su quanto sia sicuro operare con agenti AI nel web aperto.
In un post sul blog pubblicato lunedì, OpenAI ha affermato: “La prompt injection, simile a truffe e ingegneria sociale sul web, difficilmente sarà mai completamente ‘risolta’.” La società ha riconosciuto che la modalità “agent mode” in ChatGPT Atlas “espande la superficie di rischio della sicurezza.”
OpenAI ha introdotto il browser ChatGPT Atlas nell’ottobre scorso. I ricercatori di sicurezza si sono affrettati a pubblicare demo che mostrano come sia possibile scrivere poche parole in Google Docs in grado di alterare il comportamento sottostante del browser. Lo stesso giorno, Brave ha pubblicato un post spiegando che la prompt injection indiretta rappresenta una sfida sistematica per i browser potenziati dall’AI, inclusa Comet di Perplexity.
Minacce Persistenti e Risposte Strategiche
OpenAI non è l’unica a riconoscere che gli attacchi basati su iniezioni di prompt non scompariranno. Questo mese, il National Cyber Security Centre del Regno Unito ha avvertito che gli attacchi di iniezione di prompt contro applicazioni di intelligenza artificiale generativa “potrebbero non essere mai completamente mitigati”, mettendo a rischio i siti web di poter subire brecce di dati. L’agenzia governativa britannica ha consigliato ai professionisti della sicurezza informatica di ridurre il rischio e l’impatto delle iniezioni di prompt piuttosto che pensare che gli attacchi possano essere “fermati.”
OpenAI, da parte sua, ha dichiarato: “Consideriamo la prompt injection come una sfida di sicurezza AI a lungo termine e sarà necessario rafforzare continuamente le nostre difese contro di essa.” Qual è la risposta dell’azienda a questa sfida quasi senza fine? Un ciclo di risposta rapida e proattivo che, secondo la società, sta mostrando risultati promettenti nell’aiutare a scoprire nuove strategie di attacco internamente prima che vengano sfruttate “nel mondo reale.”
Questo approccio non è del tutto diverso da quanto affermano concorrenti come Anthropic e Google: per combattere il rischio persistente di attacchi basati su prompt, è necessario implementare difese stratificate e testarle continuamente. Ad esempio, il recente lavoro di Google si concentra su controlli architettonici e a livello di policy per i sistemi agentici.
Ciò che distingue OpenAI è il suo “attaccante automatizzato basato su LLM”. Questo attaccante è fondamentalmente un bot addestrato da OpenAI, utilizzando il rafforzamento dell’apprendimento, per assumere il ruolo di un hacker alla ricerca di modi per insinuare istruzioni malevole in un agente AI. Il bot può testare l’attacco in simulazione prima di utilizzarlo realmente, mostrando come l’AI target immaginerebbe l’attacco e quali azioni adotterebbe.
Il bot può quindi analizzare quella risposta, modificare l’attacco e riprovare. Questa capacità di comprendere il ragionamento interno dell’AI target è qualcosa a cui gli attaccanti esterni non hanno accesso. Pertanto, in teoria, il bot di OpenAI dovrebbe essere in grado di individuare le vulnerabilità più rapidamente rispetto a un attaccante reale.
Si tratta di una tattica comune nei test di sicurezza AI: costruire un agente per trovare i casi limite e testarli rapidamente in simulazione. “Il nostro attaccante addestrato con rafforzamento dell’apprendimento può indirizzare un agente a eseguire flussi di lavoro dannosi sofisticati e a lungo termine che si sviluppano in decine (o persino centinaia) di passi,” ha affermato OpenAI. “Abbiamo anche osservato nuove strategie di attacco che non sono emerse nella nostra campagna di red teaming umana o in rapporti esterni.”
In una demo, OpenAI ha mostrato come il suo attaccante automatizzato abbia infiltrato un’email malevola nella casella di posta di un utente. Quando l’agente AI ha successivamente esaminato la casella di posta, ha seguito le istruzioni nascoste nell’email, inviando un messaggio di dimissioni invece di redigere una risposta automatica. Tuttavia, dopo l’aggiornamento di sicurezza, la modalità agent è stata in grado di rilevare con successo il tentativo di iniezione di prompt e segnalarlo all’utente.
L’azienda afferma che, sebbene la protezione degli utenti di Atlas contro le iniezioni di prompt sia una priorità assoluta, il portavoce di OpenAI ha rifiutato di rivelare se l’aggiornamento alla sicurezza di Atlas abbia portato a una riduzione misurabile delle iniezioni riuscite. Tuttavia, ha dichiarato che l’azienda ha collaborato con terze parti per rendere Atlas sicuro contro le iniezioni di prompt fin dalla sua introduzione.
Rami McCarthy, ricercatore principale di sicurezza presso la società di cybersecurity Wiz, ha affermato che il rafforzamento dell’apprendimento è un modo per adattarsi continuamente al comportamento degli attaccanti, ma è solo parte del quadro. “Un modo utile per ragionare sul rischio nei sistemi AI è l’autonomia moltiplicata per l’accesso,” ha detto McCarthy a TechCrunch.
I browser agentici si situano in una zona difficile di quel contesto: autonomia moderata combinata con accesso molto elevato. Molte raccomandazioni attuali riflettono quel compromesso. Limitare l’accesso per gli utenti con accesso autenticato riduce principalmente l’esposizione, mentre richiedere una revisione delle richieste di conferma limita l’autonomia.
Queste sono due delle raccomandazioni di OpenAI per gli utenti al fine di ridurre il proprio rischio. Un portavoce ha affermato che Atlas è anche addestrato per ottenere la conferma dell’utente prima di inviare messaggi o effettuare pagamenti. OpenAI suggerisce inoltre che gli utenti diano istruzioni specifiche agli agenti, piuttosto che concedere loro l’accesso alla propria casella di posta e dire “prendi l’azione necessaria.”
“Una grande libertà rende più facile per contenuti nascosti o malevoli influenzare l’agente, anche quando sono presenti misure di sicurezza”, secondo quanto afferma OpenAI. Anche se proteggere gli utenti di Atlas contro le iniezioni di prompt è una priorità, McCarthy invita a una certa cautela riguardo il ritorno sugli investimenti per i browser a rischio. “Per la maggior parte degli scenari d’uso quotidiano, i browser agentici non offrono ancora abbastanza valore per giustificare il loro attuale profilo di rischio,” ha affermato McCarthy a TechCrunch.
Il rischio è alto, dato l’accesso a dati sensibili come email e informazioni di pagamento, nonostante tale accesso sia anche ciò che li rende potenti. Questo equilibrio evolverà, ma al momento il compromesso è molto reale.
Non perderti tutte le notizie di tecnologia su Blog.it