OpenAI si consulta con matematici di élite per evitare errori futuri. Titolo: “OpenAI e top matematici consultati”

Dopo aver trasformato una serie di spettacolari risultati matematici in una crisi di reputazione, OpenAI sta consultando matematici umani per aiutarla a trovare un percorso meno disastroso per il futuro. Lunedì, l’azienda ha annunciato la costituzione di un nuovo panel indipendente di matematici incaricato di consigliare sia essa che altre aziende di intelligenza artificiale sulle interazioni con la ricerca matematica e la comunità matematica più ampia, compreso come presentare e rilasciare nuovi risultati. L’arrivo improvviso ha sorpreso molti matematici. I ricercatori hanno dichiarato che il gruppo è un buon primo passo, ma molti si sono trovati con domande di base su ciò che effettivamente farà, quanto influenza avrà e se OpenAI effettivamente ascolterà, oltre a preoccupazioni su come un così piccolo gruppo di ricercatori di spicco possa rappresentare la comunità matematica più ampia.

Il gruppo di nove membri è composto da ciò che i ricercatori hanno descritto come celebrità nel campo, provenienti da istituzioni come Stanford, Harvard, Oxford e Cambridge, con diversi Fields Medals e premi MacArthur “genius” tra di loro. Sarà ospitato dall’Istituto di Studi Avanzati di Princeton, New Jersey (IAS), uno dei centri di ricerca matematica più rispettati al mondo e la precedente casa intellettuale di personaggi come Albert Einstein, John von Neumann e J. Robert Oppenheimer.

“The other fundamental fact is that our overarching aim is to represent as well as we possibly can the interests of the mathematical community”.

OpenAI ha dichiarato che il gruppo, chiamato Gruppo di consulenza su Matematica e Intelligenza Artificiale (AGMAI), opererà in modo indipendente, con la libertà di offrire consigli non richiesti dall’azienda, commentare pubblicamente il suo impatto sulla matematica e rendere pubblici i suoi consigli, anche se non ha fornito dettagli su cosa ciò possa comportare. Sembra che il gruppo riceverà un accesso anticipato alla ricerca di OpenAI per svolgere il proprio compito. I membri non verranno pagati da OpenAI e il gruppo potrà modificare la propria composizione come riterrà opportuno, ha dichiarato OpenAI. “Il suo valore dipende dal fatto che i membri siano in grado di esercitare il proprio giudizio e sfidare il nostro”, ha affermato l’azienda. “Il gruppo consiglierà sulla revisione e comunicazione dei risultati emergenti: aiuterà OpenAI a valutarne la rilevanza, darà consigli su come coordinarne la diffusione e suggerirà gli standard accademici e professionali della ricerca matematica. Consiglierà inoltre su come i nostri strumenti possono sostenere la ricerca matematica e l’apprendimento”.

Per tutto l’enfasi sull’indipendenza, rimane poco chiaro quanto potere effettivo avrà il gruppo o perché sia stato formato in primo luogo. Simon Machado, ricercatore all’ETH Zurigo in Svizzera, ha dichiarato che l’intera situazione sembrava “avvolta nel mistero” e ha messo in dubbio come sia avvenuta la selezione dei nove membri. Il sito web essenziale del gruppo afferma che “si è riunito dopo che OpenAI ha contattato alcuni dei suoi membri per istituire un consiglio consultivo esterno”, ma che, a seguito di discussioni con l’azienda, i matematici hanno deciso invece di lanciare un gruppo indipendente e invitare altri a unirsi. Non è chiaro quali membri siano stati contattati inizialmente da OpenAI o come siano stati selezionati i restanti membri.

In un post sul blog pubblicato martedì, il membro del gruppo consultivo Martin Hairer ha approfondito le origini del gruppo e il ragionamento che vi è dietro, rispondendo a quanto ha chiamato una “torrente di disinformazione” che circonda la sua formazione. “È ovvio che l’IA abbia già avuto un impatto profondo sulla ricerca matematica e sollevi numerose questioni sull’attribuzione corretta delle idee, la priorità, la comprensione umana delle idee, ecc.,” ha scritto, aggiungendo che non ha senso per la comunità “adottare un approccio ‘struzzo’ di semplicemente ignorare i laboratori di intelligenza artificiale e rifiutarsi di parlare con loro per principio”.

Mentre riconosceva che il gruppo è stato formato in risposta a un’approccio da parte di OpenAI, Hairer ha sottolineato che non tutti i suoi membri erano stati contattati dall’azienda e che l’organizzazione risultante è “genuinamente indipendente da OpenAI e da altri cosiddetti laboratori di IA di avanguardia”. Oltre alle “ovvie esigenze di riservatezza”, ha affermato che i membri non hanno firmato accordi restrittivi che regolano ciò che possono dire pubblicamente, aggiungendo che non ricevono alcun compenso finanziario e si affidano al sostegno tecnico dell’IAS.

“Un altro fatto fondamentale è che il nostro obiettivo principale è rappresentare nel modo migliore possibile gli interessi della comunità matematica,” ha scritto Hairer, professore di matematica al Imperial College di Londra e all’Istituto Federale di Tecnologia di Losanna (EPFL). Pur notando che il gruppo è di gran lunga dalla rappresentazione completa della comunità, ha dichiarato di essere “assolutamente certo che tutti e nove prendiamo questo compito estremamente seriamente e agiamo in buona fede”.

Tuttavia, indipendentemente da come siano stati selezionati i membri, attualmente il gruppo è composto da un’élite di matematici accademici. La piccola dimensione solleva ulteriori domande su se il gruppo abbia la vastità di competenze necessarie per valutare tutto ciò che giunge nelle loro mani, considerando le competenze altamente specializzate e la conoscenza richiesta per operare ai confini della matematica.

Francesco Fournier-Facio, prossimo professore di matematica all’Università di Heriot-Watt in Scozia, si è dichiarato piuttosto “ambivalente” riguardo al panel, affermando che un maggiore coinvolgimento dei matematici “può solo migliorare le cose”. Tuttavia, ha messo in dubbio se questo gruppo rifletta appieno la comunità i cui lavori e mezzi di sostentamento sono stati sconvolti dalla ricerca di trofei matematici di OpenAI. “Sembrerebbe un’ivory tower,” ha detto a The Verge.

Machado ha posto una domanda simile, chiedendosi se i membri del gruppo comprendano appieno, o sappiano parlare, delle preoccupazioni della più ampia comunità matematica quando si tratta di intelligenza artificiale. “Sono matematici straordinari, ma non so se siano le persone che vorrei che mi rappresentassero in questioni più politiche,” ha detto. Per i matematici nelle loro posizioni di élite e simili, Machado ha detto: “Penso che la realtà che stanno affrontando sia molto diversa dalla realtà che la maggior parte dei matematici sta affrontando in questo momento”.

La capacità del gruppo di guadagnare la fiducia dei matematici determinerà infine quanto efficace potrà essere nel contenere le conseguenze dei recenti passi falsi di OpenAI nell’annunciare i risultati e, cosa più importante, ammorbidire il colpo per ciò che l’azienda si appresta ad annunciare successivamente. Sul suo blog, Hairer ha affermato che i membri sarebbero “molto ingenui a credere che i laboratori di IA non cercheranno di manipolare ciò che diciamo in modo che si adatti alla loro macchina PR, che supera di gran lunga qualsiasi cosa possiamo concepire”.

Tuttavia, Hairer ha sottolineato che sarebbe ipocrita non impegnarsi ora che OpenAI sembra essere impegnata in uno sforzo, in particolare dopo che molti hanno criticato il comportamento dell’azienda e le scarse comunicazioni. Il gruppo deve ancora definire i consigli che intende fornire, ha detto, ma c’è un problema chiaro a cui sta rispondendo: “È un fatto che le aziende di IA negli ultimi mesi abbiano prodotto alcuni risultati matematici di alto profilo e che la loro pubblicazione e diffusione siano state molto al di sotto delle pratiche matematiche accettabili, a prescindere da come queste siano definite”.

Per ora, Hairer ha detto che il gruppo sta raccogliendo input tramite conversazioni con colleghi, un modulo di feedback pubblico e discussioni su Proofs and Prompts, un blog che è emerso come un forum chiave per i matematici che si misurano con l’impatto dell’IA sul campo.

Ma la sfida più grande del gruppo si trova probabilmente davanti a sé. Quando ha annunciato il gruppo consultivo, OpenAI ha casualmente rivelato la notizia che il suo nuovo modello, non ancora rilasciato, che ha risolto il problema del premio Millennium Navier-Stokes, ha ora “risolto più di 100 problemi aperti di lunga data in quasi tutte le aree della matematica”. Ha già detto di essere vicino a risolvere un altro problema del premio Millennium. Sul suo sito web, il gruppo ha dichiarato che affrontare questo blocco è la sua prima priorità: “Attualmente ci troviamo di fronte alla sfida molto specifica di consigliare OpenAI su come coordinare il rilascio di un gran numero di risultati significativi in matematica che si dice siano stati prodotti dal loro modello interno”.

In parte, il nuovo sforzo di coinvolgere i matematici è un riconoscimento del monumentale disastro pubblicitario nel quale è incappata la società, in cui si è trovata a respingere accuse di anticipare i ricercatori, di non riconoscere il lavoro umano su cui si basavano i suoi modelli e persino di rubare a coloro che utilizzavano i suoi modelli. Queste controversie hanno portato molti matematici a domandarsi se l’azienda capisse – o rispettasse – la disciplina e la comunità in cui era entrata a tutta forza.

Dopo gli ultimi mesi e con così tanto scritto su cosa vogliano i matematici, Kevin Buzzard, professore di matematica al Imperial College di Londra, si è chiesto perché OpenAI sentisse il bisogno di un tale corpo di élite per capire ciò che la comunità vuole. “Non erano dimostrazioni di teoremi difficili, era una migliore comprensione della nostra materia,” ha detto. “Non mi è del tutto chiaro che tu abbia bisogno di un comitato di persone brillanti per sottolineare questo punto”.