Fable 5 di Anthropic torna finalmente in produzione dopo anni di attesa.
Anthropic intende collaborare con il governo e altri laboratori di AI per creare uno standard di sicurezza e valutazione “volontario” per i fornitori di modelli avanzati. Inoltre, ha pianificato di formare team dedicati per lavorare su priorità comuni con il governo e garantire un’allocazione significativa di risorse computazionali per sostenere test e ricerche governative.
Il decreto di controllo delle esportazioni inizialmente emesso dall’amministrazione Trump ha avuto un impatto negativo su Anthropic, in quanto l’azienda si stava preparando per un’IPO e affrontava dispute con il governo su questioni di rischio della catena di approvvigionamento.
Nel suo blog, Anthropic ha messo in evidenza che “attualmente non esiste consenso nell’industria AI” per stabilire la gravità di un jailbreak. Questo diventa una questione cruciale man mano che nuovi modelli con capacità di cybersecurity vengono addestrati e rilasciati. Pertanto, l’azienda ha avviato collaborazioni con Amazon, Microsoft, Google e altre imprese per redigere un framework condiviso per la valutazione dei jailbreak, suddiviso in quattro categorie: guadagni di capacità per l’attaccante, ampiezza di tali guadagni, facilità di armamento e facilità di scoperta.
Anthropic ha anche creato un nuovo team per monitorare attivamente i canali di segnalazione di jailbreak. Presto verrà lanciato un programma HackerOne per consentire ai ricercatori di inviare segnalazioni di potenziali jailbreak per Fable 5.
Infine, Anthropic ha fornito un disclaimer, affermando che è “probabilmente impossibile rendere un modello AI completamente robusto contro i jailbreak”. Prevedono che alcuni jailbreak saranno individuati e che la loro gravità varierà, con alcuni jailbreak minori e altri potenzialmente dannosi, anche se attualmente non sono stati scoperti jailbreak universali per Fable 5.
Non perderti tutte le notizie di tecnologia su Blog.it
