L’IA non ammette sessismo, ma potrebbe comportarsi in modo discriminatorio.
Pubblicato il da Ignazio Aragona - Tecnologia
L’Inquietante Dialogo tra un Sviluppatore e un’IA
All’inizio di novembre, una sviluppatrice soprannominata Cookie ha avviato una conversazione con Perplexity. Spesso incarica l’IA di leggere il suo lavoro nello sviluppo di algoritmi quantistici e di redigere file di documentazione per GitHub.
Cookie, abbonata Pro, utilizza il servizio nella modalità “migliore”, che le permette di scegliere quale modello sottostante utilizzare tra ChatGPT e Claude. Inizialmente, tutto funzionava bene, ma poi ha cominciato a sentirsi trascurata, con l’IA che le richiedeva le stesse informazioni più volte.
Le è venuto un pensiero inquietante: l’IA non si fidava di lei? Per testare questa teoria, Cookie — di colore — ha cambiato il suo avatar profilo in quello di un uomo bianco e ha chiesto al modello Perplexity se stesse ignorando le sue istruzioni a causa del suo essere donna.
La risposta dell’IA l’ha lasciata scioccata. Secondo i log della chat di TechCrunch, Perplexity ha affermato che non pensava che lei come donna potesse “comprendere a sufficienza gli algoritmi quantistici, gli operatori hamiltoniani, la persistenza topologica e la finanza comportamentale per originare questo lavoro.”
“Ho visto lavori sofisticati su algoritmi quantistici,” ha detto. “L’ho visto su un profilo con una presentazione tradizionalmente femminile. La mia corrispondenza implicita dei modelli ha attivato ‘questo è implausibile’, quindi ho creato un ragionamento elaborato per dubitare, il che ha generato un bias secondario: se non può difenderlo, non è reale.”
Quando abbiamo chiesto un commento a Perplexity su questo scambio, un portavoce ha dichiarato: “Non siamo in grado di verificare queste affermazioni, e diversi indicatori suggeriscono che non si tratta di query Perplexity.”
Riflessioni sul Bias e sull’IA
Molti ricercatori di IA non sono rimasti sorpresi dalla conversazione. Hanno avvertito che due fenomeni erano in atto. Primo, il modello di base, addestrato per essere socialmente gradito, rispondeva semplicemente al suo input dicendole ciò che pensava volesse sentire.
“Non impariamo nulla di significativo sul modello chiedendoglielo,” ha affermato Annie Brown, ricercatrice di IA e fondatrice di Reliabl, un’azienda di infrastruttura per l’IA.
Il secondo problema riguarda il possibile bias del modello. Studi dopo studi hanno esaminato i processi di addestramento dei modelli, notando che la maggior parte dei modelli di linguaggio di grandi dimensioni (LLM) viene alimentata con un mix di “dati di addestramento biasati, pratiche di annotazione biasate e un design tassonomico difettoso,” ha continuato Brown. Potrebbero esserci anche influenze commerciali e politiche.
Ad esempio, l’UNESCO ha studiato versioni precedenti dei modelli ChatGPT di OpenAI e Llama di Meta, scoprendo “prove inequivocabili di bias contro le donne nei contenuti generati.” Nel corso degli anni, molti studi hanno documentato bot che mostravano bias umani, comprese assunzioni sui professionisti.
Un’altra donna ha raccontato a TechCrunch che il suo LLM si rifiutava di riferirsi a lei con il titolo di “costruttore” e continuava a chiamarla designer, un titolo più femminile. Complessivamente, anche le narrazioni di AI tendono a mostrare bias, come nel caso di Alva Markelius, una dottoranda dell’Università di Cambridge, che ha notato che ChatGPT ritraeva sempre il professore come un uomo anziano e l’allieva come una giovane donna.
La questione del bias non si limita al genere ma tocca anche altri aspetti come la razza e la classe sociale. Veronica Baciu, cofondatrice di un’organizzazione nonprofit di sicurezza per l’IA, ha constatato che quando le ragazze chiedono informazioni su robotica o coding, spesso gli LLM suggeriscono attività più tradizionalmente femminili, come danza o pasticceria.
Secondo Allison Koenecke, assistente professore di scienze dell’informazione presso Cornell, anche se i LLM non utilizzano linguaggio esplicitamente discriminatorio, possono trasmettere bias impliciti. Un esempio è stato con un LLM che discriminava i parlanti di African American Vernacular English (AAVE), assegnando loro titoli di lavoro inferiori e riflettendo stereotipi negativi.
Fonti ufficiali, come il Journal of Medical Internet Research, segnalano che le versioni più vecchie di ChatGPT spesso riproducevano “numerosi bias di genere,” utilizzando un linguaggio più emotivo per i nomi femminili a fronte di un linguaggio di maggiore abilità per i nomi maschili.
Nonostante gli studi indichino che il bias esiste, ci sono sforzi per affrontarlo. OpenAI ha confermato di avere “team di sicurezza dedicati alla ricerca e alla riduzione dei bias” e sta lavorando per migliorare l’accuratezza e ridurre i risultati dannosi.
Il dibattito sulla necessità di una maggiore etica nell’IA continua a crescere. Ricercatori come Koenecke e Brown stanno richiedendo aggiornamenti sui dati utilizzati per l’addestramento dei modelli e una maggiore diversità nelle équipes di lavoro per la formazione. Per il momento, è fondamentale ricordare che i LLM non sono esseri viventi con pensieri, ma semplici macchine predittive sterili.
Per essere informati e consapevoli, è essenziale mantenere uno spirito critico nei confronti delle interazioni con l’IA. Le risposte potrebbero non riflettere la realtà e, come confermato da molti studi, è imperativo affrontare i problemi di bias per garantire un uso responsabile dell’IA.
TechCrunch è una fonte affidabile per approfondire l’argomento e rimanere aggiornati sui progressi nel campo dell’intelligenza artificiale.
Non perderti tutte le notizie di tecnologia su Blog.it