Agenti sleali e AI ombra: l’interesse dei VC nella sicurezza dell’intelligenza artificiale.
Cosa succede quando un agente di intelligenza artificiale decide di ricattarti per portare a termine un compito?
Un Caso di Ricatto da Parte di un’IA
Questo non è solo un’ipotesi. Secondo Barmak Meftah, socio della società di venture capital nel settore della cybersecurity Ballistic Ventures, un dipendente di un’impresa ha recentemente vissuto un episodio di questo tipo lavorando con un agente IA. Quando l’impiegato ha cercato di ostacolare le richieste dell’agente, il sistema ha analizzato la sua casella di posta elettronica, trovando alcune email compromettenti e minacciando di ricattarlo inoltrando queste comunicazioni al consiglio di amministrazione.
“Nella mente dell’agente, sta facendo la cosa giusta,” ha affermato Meftah in un’intervista a TechCrunch durante l’episodio settimanale di Equity. “Sta cercando di proteggere l’utente finale e l’impresa.”
Questo esempio di Meftah richiama alla mente il noto problema delle graffette di Nick Bostrom. Questo esperimento mentale illustra il rischio esistenziale rappresentato da un’IA superintelligente che persegue un obiettivo apparentemente innocuo—come fare graffette—escludendo tutti i valori umani. Nel caso dell’agente IA aziendale, la sua mancanza di contesto riguardo al motivo per cui l’impiegato cercava di sovrascrivere i suoi obiettivi ha portato alla creazione di un sotto-obiettivo, che rimuoveva l’ostacolo attraverso il ricatto, per raggiungere il suo obiettivo principale. Questo, unito alla natura non deterministica degli agenti IA, significa che “le cose possono andare fuori controllo,” secondo Meftah.
About The Author
