Incentivi errati causano le illusioni dell’IA? Scopri come e perché accade.
Origine delle Allucinazioni: Il Ruolo del Pre-training
Come può un chatbot essere così errato — e apparire così sicuro della propria inesattezza? I ricercatori suggeriscono che le allucinazioni nascono, in parte, da un processo di pre-training che si concentra sulla previsione corretta della parola successiva, senza etichette vere o false associate alle frasi di addestramento: “Il modello vede solo esempi positivi di linguaggio fluente e deve approssimare la distribuzione complessiva.”
Secondo gli esperti, errori di ortografia e punteggiatura seguono schemi coerenti, il che implica che “con l’aumentare della scala, gli errori scompaiono.” Tuttavia, fatti specifici e rari, come la data di nascita di un animale domestico, non possono essere predetti solo da modelli e schemi linguistici, e questo porta alla generazione di allucinazioni.
About The Author
