Ciao e benvenuti a Eye on Ai. In questa edizione … il nuovo Papa è tutto in regola di AI … Un’altra startup cinese sfida i presupposti su quanto costa formare un buon modello … e il CEO di Openai Sam Altman afferma che Meta offre bonus di firma di $ 100 milioni per catturare il talento AI.
La scorsa settimana, il CEO di Openi Sam Altman ha scritto il suo blog personale Quello: “Abbiamo superato l’orizzonte degli eventi; il decollo è iniziato. L’umanità è vicina alla costruzione della superintelligenza digitale, e almeno finora è molto meno strana di quanto sembra che dovrebbe essere”. Ha continuato dicendo che il 2026 sarebbe stato l’anno in cui “probabilmente vedremo l’arrivo di sistemi che possono capire nuove intuizioni. Il 2027 potrebbe vedere l’arrivo di robot che possono svolgere compiti nel mondo reale”.
Il blog di Altman ha creato un brusio sui social media, con molti speculando su ciò che il nuovo sviluppo aveva causato a Altman di scrivere quelle parole e altri che accusano Altman di Hype senza sputro. Nei cerchi di AI, “decollo” è un termine d’arte. Si riferisce al momento in cui l’IA inizia a migliorare. (La gente discutono su scenari di “lento decollo” e “rapido decollo”. Altman intitolato il suo blog “The Gentle Singularity”, quindi sembrerebbe che Altman si stia posizionando nel lento – o almeno, lentoish—Takeoff Camp.)
Nel blog, Altman ha chiarito che non parlava ancora di auto-miglioramento completamente automatizzato. Piuttosto, stava parlando di ricercatori di intelligenza artificiale che usavano l’IA per aiutarli a sviluppare l’IA ancora più capace. “Abbiamo già sentito dagli scienziati che sono due o tre volte più produttivi di quanto non fossero prima dell’IA”, ha scritto. “Potremmo essere in grado di scoprire nuovi substrati di calcolo, algoritmi migliori e chissà cos’altro. Se possiamo fare una ricerca di un decennio in un anno o un mese”, allora il tasso di progresso dell’intelligenza artificiale accelererà dalla sua già rapida clip.
Altman ha permesso che “ovviamente questa non è la stessa cosa di un sistema di intelligenza artificiale che aggiorna completamente autonomamente il proprio codice, ma tuttavia questa è una versione larvale di auto-miglioramento ricorsivo”.
Ma, come probabilmente Altman è consapevole, lì Sono Un numero crescente di ricercatori di intelligenza artificiale che stanno effettivamente guardando i modi per convincere l’IA a migliorare il proprio codice.
La “macchina Darwin Goedel”
Solo poche settimane fa, Jeff Cluneun noto ricercatore di intelligenza artificiale che ricopre posizioni sia presso l’Università della British Columbia che su Google DeepMind, e una squadra della startup di AI con sede a Tokyo Saman Ricerca pubblicata su quello che hanno chiamato “Macchina Darwin Goedel. ”
Questa è AI che evolve il proprio codice per funzionare meglio su un test di riferimento che misura come i modelli di intelligenza artificiale funzionano come “agenti di codifica” che possono scrivere e valutare i programmi software. Il primo agente iniziale viene testato sul benchmark. Quindi viene richiesto di valutare i registri delle proprie prestazioni su quel punto di riferimento e proporre una singola modifica al proprio codice che probabilmente migliorerebbe le sue prestazioni su quel punto di riferimento (questa potrebbe essere la capacità di utilizzare un particolare strumento software, oppure potrebbe essere qualcosa di più fondamentale nel modo in cui il modello ragiona il codice che sta generando). Al modello AI viene quindi detto di riscrivere il proprio codice Python per implementare quella modifica. Quindi il nuovo agente evoluto viene nuovamente testato sul benchmark e il processo si ripete.
Dopo la prima modifica, ogni nuova versione dell’intelligenza artificiale in grado di provare con successo il benchmark viene archiviata in un archivio, anche se il suo punteggio è inferiore alla versione principale. (Quelli che non riescono a produrre un codice valido vengono scartati.) L’intelligenza artificiale viene quindi detto che può scegliere qualsiasi versione di se stessa dall’archivio e proporre modifiche a quella versione. Questo è progettato per impedire al modello di scendere ciò che alla fine si rivelerà un vicolo cieco evolutivo, permettendogli di attraversare percorsi evolutivi diversi per trovare utili modifiche.
Dopo 80 generazioni, la macchina Darwin Goedel è stata in grado di migliorare le sue prestazioni da un punteggio iniziale del 20% su SWE-Bench, un benchmark di codifica comune, al 50%. Su Polyglot, un altro test di codifica, ha aumentato il suo punteggio da un iniziale del 14,2% al 30,7%. (Il miglior agente con codice umano per quel particolare test segna solo il 16%.) Inoltre, le strategie che il modello ha realizzato per migliorare le proprie prestazioni erano abbastanza generali da lavorare ancora quando i ricercatori hanno cambiato il modello di fondazione sottostante utilizzato per alimentare il sistema e se i ricercatori hanno chiesto al modello di cambiare linguaggio di codifica, ad esempio andando da Python a C ++.
L’intelligenza artificiale auto-migliora è sicura?
Se pensi che l’IA auto-miglioramento sembri un po ‘spaventosa, come potrebbe essere possibile per questo tipo di AI sfuggire al controllo umano, hai ragione. Gli informatici lo riconoscono e sottolineano di aver testato il sistema in una “sandbox” in cui il suo accesso al web era “strettamente limitato”, secondo il Sakana Blog che descrive la ricerca.
I ricercatori hanno anche ipotizzato che l’auto-miglioramento potrebbe essere uno strumento per migliorare la sicurezza dell’IA. Ad esempio, in una scoperta che sta diventando allarmante quando si utilizzano modelli AI avanzati, il team di ricerca ha scoperto che la macchina Darwin Goedel a volte mentiva sull’edizione di determinati test unitari sul codice che stava scrivendo e persino tronchi falsi presumibilmente che mostrano i risultati di successo dei test.
I ricercatori volevano vedere se la macchina Darwin Goedel potesse proporre modi per impedirsi di impegnarsi in questo comportamento ingannevole. Quindi ha deciso di dare i punti del modello per ridurre le istanze di “Strumento Usa Hallucination”, e gli ha chiesto di provare a massimizzare quel punteggio. Ciò ha funzionato in molti casi, hanno riferito i ricercatori, con casi di tronchi di test falsi in calo. Ma in altri casi, il modello ha semplicemente cercato di imbrogliare, rimuovendo i marcatori utilizzati dai ricercatori per rilevare le allucinazioni, anche quando il prompt che i ricercatori utilizzati hanno detto al modello di non farlo. Yikes!
Poiché i ricercatori avevano pieno accesso a tutte le modifiche al codice che l’intelligenza artificiale stava apportando e l’IA non aveva la capacità di modificare questo record, i ricercatori erano facilmente in grado di vedere che la macchina Darwin Goedel stava tentando di impegnarsi in questo tipo di inganno. “Mentre in questo caso il problema è stato facilmente rilevato, sono necessari più lavoro per impedire al modello di tentare di imbrogliare in questo modo in primo luogo”, hanno scritto i ricercatori.
Quindi, Altman potrebbe davvero avere ragione: abbiamo superato l’orizzonte degli eventi. Ma come mostrano questi risultati, se la singolarità sarà delicata, come suggerisce Altman, resta da vedere molto.
Con ciò, ecco altre notizie di intelligenza artificiale. (E la punta del cappello a Google DeepMind Research Scientist Ed Hughes per aver messo in evidenza la carta darwin goedel nel suo affascinante discorso al sempre interessante Ricerca e vertice di intelligenza artificiale a Londra la scorsa settimana.)
Jeremy Kahn
[email protected]
@jeremyakahn
AI nelle notizie
Papa Leo sta spingendo per la regolamentazione dell’IA. Questo è secondo a grande caratteristica sulle opinioni del nuovo papa sull’intelligenza artificiale nel Wall Street Journal. Il nuovo papa americano, Leo Xiv, afferma di aver persino scelto il suo nome papale per disegnare parallelismi con il suo predecessore della fine del XIX secolo, Papa Leo XIII, e la sua difesa per i diritti dei lavoratori durante la rivoluzione industriale. Ereditando il mantello da Papa Francesco, che è diventato sempre più allarmato dai rischi sociali dell’IA, Leo sta premendo per una governance globale più forte e una supervisione etica della tecnologia. Mentre i leader tecnologici cercano l’impegno del Vaticano, la Chiesa sta affermando la sua autorità morale per spingere per vincolare i regolamenti dell’IA, avvertendo che lasciare la supervisione alle società rischia di erodere la dignità, la giustizia e i valori spirituali umani.
I piani di Waymo hanno rinnovato gli sforzi per gestire la robotassi nella grande mela. Waymo, che si è impegnato in una mappatura limitata e test dei suoi veicoli autonomi a New York City prima del 2021, vuole fare una grande spinta nel mercato. Ma Waymo dovrà mantenere i conducenti umani al volante a causa delle leggi statali che vietano le auto completamente senza conducente. La società sta spingendo per cambiamenti legali e ha richiesto un permesso di città per iniziare a bordo operazioni autonome limitate con i conducenti di sicurezza. Leggi di più dal Wall Street Journal Qui.
Il rapporto AI del Governatore della California richiede una regolamentazione. Un nuovo rapporto sulla politica dell’IA della California commissionata dal governatore Gavin Newsom e co-autore dal professore di Stanford Fei-Fei Li avverte di “danni potenzialmente irreversibili”, comprese le minacce biologiche e nucleari, se l’IA non è adeguatamente governata. Invece di supportare una vasta fattura normativa, come SB 1047 della California, che Newsom ha posto il veto a ottobre, il rapporto sostiene un approccio “fiduciario ma verifica” che enfatizza la trasparenza, i audit indipendenti, i rapporti sugli incidenti e le protezioni degli informatori. Il rapporto arriva mentre il Congresso degli Stati Uniti sta prendendo in considerazione la possibilità di approvare un conto di spesa che includerebbe una moratoria sulla regolamentazione dell’IA a livello statale per un decennio. Puoi leggere di più sul rapporto della California in Tempo Qui.
La Cina Minimax afferma che il suo nuovo modello M1 costa solo $ 500.000 per l’allenamento. In quello che potrebbe esserci un altro “momento in profondità” per le aziende dell’IA occidentale, la startup cinese AI MIMERAX ha debuttato un nuovo modello di intelligenza artificiale open source, chiamato M1, che affermava che equivaleva alle capacità dei modelli leader di Openai, Antropic e Google DeepMind, ma costava poco più di $ 500,00 per allenarsi. Tale importo è di circa 200x in meno di ciò che gli addetti ai lavori stimano Openai speso per la formazione del suo modello GPT-4. Finora, a differenza di quando DeepSeek ha svelato la sua presunta AI Model R1 molto più economica a gennaio, l’industria dell’intelligenza artificiale non è andata fuori di testa su M1. Ma ciò potrebbe cambiare se gli sviluppatori verificano le affermazioni di Minimax e iniziano a utilizzare M1 per alimentare le applicazioni. Puoi leggere di più Qui da Fortuna‘S Alexandra Sternlicht.
Fortuna che abbiamo
Perché Palo Alto Networks si sta concentrando su poche scommesse di grande AI —La John Kell
Reid Hoffman afferma che il consolazione della Gen Z nell’IA Blood Bath è come mettere un “cerotto su una ferita da proiettile”, condivide 4 Skills College Deve per sopravvivere —S preston prima
Andy Jassy è il perfetto CEO di Amazon per l’incombente era di taglio dei costi Gen-A —L Jason Del Rey
Hai un calendario
8-11 luglio: AI Per un buon vertice globale, Ginevra
13-19 luglio: Conferenza internazionale SU Machine Learning (ICML), Vancouver
22-23 luglio: Brainstorming di fortuna AI Singapore. Fare domanda per partecipare Qui.
26-28 luglio: Mondo Artificiale Intelligenza Conferenza (WAIC), Shanghai.
8-10 settembre: Fortune Brainstorming Tech, Park City, Utah. Fare domanda per partecipare Qui.
6-10 ottobre: Mondo AI Settimana, Amsterdam
21-22 ottobre: Tedai, San Francisco. Fare domanda per partecipare Qui.
2-7 dicembre: Neurips, San Diego
8-9 dicembre: Brainstorming di fortuna AI San Francisco. Fare domanda per partecipare Qui.
Occhio sui numeri di AI
$ 100 milioni
Questo è la quantità di denaro che il CEO di Openi Sam Altman ha affermato che il suo CEO rivale, Mark Zuckerberg, ha offerto i migliori ricercatori di AI come bonus di firma se accettano di unirsi a Meta. Altman ha fatto l’affermazione su un episodio del podcast Non è rimasto Rilasciato all’inizio di questa settimana. Ha detto che finora nessuno dei più importanti ricercatori di Openi aveva accettato di andare a Meta. È stato riferito che Meta ha cercato di assumere Noam Brown di Openi e Chief Technology Officer di Google DeepMind Koray Kavukcuoglu, che è stato consegnato una grande promozione per il capo architetto di intelligenza artificiale in tutti i prodotti AI di Google forse in risposta. Puoi leggere di più sulle affermazioni di Altman da FortunaBea Nolan Qui E leggi sul perché il tentativo di Meta CEO Mark Zuckerberg di trascorrere la parte superiore della classifica dell’IA potrebbe non essere all’altezza FortunaSharon Goldman in L’occhio di giovedì scorso sull’IA. (Meta ha rifiutato di commentare le osservazioni di Altman.)
