Termini AI essenziali: ricorrenza opaca e altri concetti importanti per comprendere l’intelligenza artificiale.
La diffusione è la tecnologia che è nel cuore di molti modelli di IA generativa per arte, musica e testo. Ispirati dalla fisica, i sistemi di diffusione “distruggono” gradualmente la struttura dei dati – ad esempio, foto, canzoni, ecc. – aggiungendo rumore finché non resta nulla. In fisica, la diffusione è spontanea ed irreversibile – lo zucchero diffuso nel caffè non può tornare alla forma di cubo. Ma i sistemi di diffusione nell’IA mirano a imparare una sorta di processo di “diffusione inversa” per ripristinare i dati distrutti, acquisendo la capacità di recuperare i dati dal rumore.
La distillazione è una tecnica utilizzata per estrarre conoscenza da un grande modello di IA con un modello “insegnante-studente”. Gli sviluppatori inviano richieste a un modello insegnante e registrano le uscite. A volte le risposte vengono confrontate con un insieme di dati per vedere quanto sono accurate. Queste uscite vengono poi utilizzate per addestrare il modello studente, che viene addestrato ad approssimare il comportamento dell’insegnante.
La distillazione può essere utilizzata per creare un modello più piccolo e più efficiente basato su un modello più grande con una perdita di distillazione minima. È probabile che OpenAI abbia sviluppato così GPT-4 Turbo, una versione più rapida di GPT-4.
Anche se tutte le aziende di IA utilizzano distillazione internamente, potrebbe essere stata utilizzata anche da alcune aziende di IA per raggiungere i modelli di punta. La distillazione da un concorrente viola generalmente i termini di servizio delle API e degli assistenti della chat di IA.
