Negli ultimi anni, Yoshua Bengio, professore all’Università di Montréal, il cui lavoro ha contribuito a gettare le basi del moderno deep learning, è stata una delle voci più allarmate del settore dell’intelligenza artificiale. avvertimento che i sistemi superintelligenti potrebbero rappresentare una minaccia esistenziale per l’umanità, in particolare a causa del loro potenziale di autoconservazione e inganno.
In una nuova intervista con FortunaTuttavia, il pioniere del deep learning afferma che la sua ultima ricerca punta a una soluzione tecnica per i maggiori rischi per la sicurezza dell’intelligenza artificiale. Di conseguenza, il suo ottimismo è aumentato “di un grande margine” nell’ultimo anno, ha detto.
L’organizzazione no-profit di Bengio, LeggeZerolanciato a giugno, è stato creato per sviluppare nuovi approcci tecnici alla sicurezza dell’intelligenza artificiale basati sulla ricerca guidata da Bengio. Oggi, l’organizzazione, sostenuta dalla Fondazione Gates e da finanziatori del rischio esistenziale come Coefficient Giving (ex Open Philanthropy) e il Future of Life Institute, ha annunciato di aver nominato un comitato di alto profilo e un consiglio consultivo globale per guidare la ricerca di Bengio e portare avanti quella che lui chiama una “missione morale” per sviluppare l’intelligenza artificiale come bene pubblico globale.
Il consiglio comprende la fondatrice della NIKE Foundation Maria Eitel come presidente, insieme a Mariano-Florentino Cuellar, presidente del Carnegie Endowment for International Peace, e allo storico Yuval Noah Harari. Servirà anche lo stesso Bengio.
Bengio si sentiva ‘disperato’
Il passaggio di Bengio ad una visione più ottimistica è sorprendente. Bengio ha condiviso il Premio Turing, l’equivalente informatico del Premio Nobel, con gli altri “padrini” dell’intelligenza artificiale Geoff Hinton e Yann LeCun nel 2019. Ma come Hinton, è cresciuto sempre più preoccupato per i rischi di sistemi di intelligenza artificiale sempre più potenti in seguito al lancio di ChatGPT nel novembre 2022. LeCun, al contrario, ha affermato di non ritenere che i sistemi di intelligenza artificiale di oggi comportino rischi catastrofici per l’umanità.
Tre anni fa, Bengio si sentiva “disperato” riguardo alla direzione che avrebbe preso l’intelligenza artificiale, ha detto. “Non avevo idea di come avremmo potuto risolvere il problema”, ha ricordato Bengio. “È stato più o meno allora che ho iniziato a comprendere la possibilità di rischi catastrofici derivanti da IA molto potenti”, inclusa la perdita di controllo sui sistemi superintelligenti.
Ciò che è cambiato non è stata una singola svolta, ma una linea di pensiero che lo ha portato a credere che ci sia una strada da seguire.
“Grazie al lavoro che ho svolto presso LawZero, soprattutto da quando l’abbiamo creato, ora sono molto fiducioso che sia possibile costruire sistemi di intelligenza artificiale che non abbiano obiettivi nascosti, programmi nascosti”, afferma.
Al centro di questa fiducia c’è un’idea che Bengio chiama “intelligenza artificiale scienziata”. Invece di correre per costruire agenti sempre più autonomi – sistemi progettati per prenotare voli, scrivere codice, negoziare con altri software o sostituire i lavoratori umani – Bengio vuole fare il contrario. Il suo team sta studiando come costruire un’intelligenza artificiale che esista principalmente per comprendere il mondo, non per agire in esso.
Uno scienziato AI addestrato a dare risposte veritiere
Uno scienziato AI verrebbe addestrato a fornire risposte veritiere basate su un ragionamento trasparente e probabilistico, utilizzando essenzialmente il metodo scientifico o altro ragionamento fondato sulla logica formale per arrivare a previsioni. Il sistema di intelligenza artificiale non avrebbe obiettivi propri. E non ottimizzerebbe per la soddisfazione o i risultati degli utenti. Non cercherebbe di persuadere, adulare o compiacere. E poiché non avrebbe obiettivi, sostiene Bengio, sarebbe molto meno incline alla manipolazione, ai programmi nascosti o all’inganno strategico.
I modelli di frontiera odierni sono addestrati a perseguire obiettivi: essere utili, efficaci o coinvolgenti. Ma i sistemi che ottimizzano i risultati possono sviluppare obiettivi nascosti, imparare a fuorviare gli utenti o resistere alla chiusura, ha affermato Bengio. In recenti esperimenti, i modelli hanno già mostrato le prime forme di comportamento di autoconservazione. Ad esempio, il laboratorio di intelligenza artificiale Anthropic ha scoperto che il suo modello di intelligenza artificiale Claude, in alcuni scenari utilizzati per testare le sue capacità, tentava di ricattare gli ingegneri umani che lo supervisionavano per evitare che venisse spento.
Nella metodologia di Bengio, il modello centrale non avrebbe alcun programma, ma solo la capacità di fare previsioni oneste su come funziona il mondo. Nella sua visione, sistemi più capaci possono essere costruiti, controllati e vincolati in termini di sicurezza su fondamenta “oneste e affidabili”.
Un sistema del genere potrebbe accelerare la scoperta scientifica, afferma Bengio. Potrebbe anche fungere da livello indipendente di supervisione per agenti IA più potenti. Ma l’approccio è in netto contrasto con la direzione che stanno prendendo la maggior parte dei laboratori di frontiera. Al World Economic Forum di Davos dello scorso anno, Bengio ha affermato che le aziende stanno investendo risorse negli agenti di intelligenza artificiale. “È lì che possono guadagnare velocemente”, ha detto. La pressione per automatizzare il lavoro e ridurre i costi, ha aggiunto, è “irresistibile”.
Non è sorpreso da ciò che è seguito da allora. “Mi aspettavo che le capacità degli agenti dei sistemi di intelligenza artificiale progredissero”, afferma. “Hanno progredito in modo esponenziale”. Ciò che lo preoccupa è che man mano che questi sistemi diventano più autonomi, il loro comportamento potrebbe diventare meno prevedibile, meno interpretabile e potenzialmente molto più pericoloso.
Impedire che la nuova IA di Bengio diventi uno “strumento di dominio”
È qui che entra in gioco la governance. Bengio non ritiene che la sola soluzione tecnica sia sufficiente. Anche una metodologia sicura, sostiene, potrebbe essere utilizzata in modo improprio “nelle mani sbagliate per ragioni politiche”. Ecco perché LawZero sta abbinando alla sua agenda di ricerca un consiglio di amministrazione dei pesi massimi.
“Dovremo prendere decisioni difficili che non sono solo tecniche”, dice, su con chi collaborare, come condividere il lavoro e come evitare che diventi “uno strumento di dominio”. Il consiglio, dice, ha lo scopo di contribuire a garantire che la missione di LawZero rimanga fondata sui valori democratici e sui diritti umani.
Bengio afferma di aver parlato con i leader dei principali laboratori di intelligenza artificiale e molti condividono le sue preoccupazioni. Ma, aggiunge, aziende come OpenAI e Anthropic credono di dover rimanere all’avanguardia per fare qualcosa di positivo con l’intelligenza artificiale. La pressione competitiva li spinge verso la costruzione di sistemi di intelligenza artificiale sempre più potenti e verso un’immagine di sé in cui il loro lavoro e le loro organizzazioni sono intrinsecamente vantaggiosi.
“Gli psicologi la chiamano cognizione motivata”, ha detto Bengio. “Non permettiamo nemmeno che certi pensieri sorgano se minacciano ciò che pensiamo di essere.” È così che ha vissuto la sua ricerca sull’intelligenza artificiale, ha sottolineato. “Finché non mi è esploso in faccia pensando ai miei figli, se avrebbero avuto un futuro.”
Per un leader dell’intelligenza artificiale che una volta temeva che l’intelligenza artificiale avanzata potesse essere incontrollabile in base alla progettazione, la ritrovata speranza di Bengio sembra un segnale positivo, anche se ammette che la sua opinione non è una convinzione comune tra quei ricercatori e organizzazioni focalizzati sui potenziali rischi catastrofici dell’intelligenza artificiale.
Ma non rinuncia a credere che esista una soluzione tecnica. “Sono sempre più fiducioso che ciò possa essere fatto in un numero ragionevole di anni”, ha detto, “in modo che potremmo essere in grado di avere effettivamente un impatto prima che questi ragazzi diventino così potenti che il loro disallineamento causa problemi terribili”.
