La spiegazione è che, per fare un altro esempio, quando viene richiesta la data di nascita di qualcuno, inventare la risposta dà una possibilità su 365 di avere una risposta corretta (e quindi un reward in fase di training), mentre rispondere “non lo so” darebbe sicuramente zero punti (nessun reward). A livello puramente statistico è ovviamente più probabile azzeccare una risposta inventata che ammettere di non sapere. In uno slancio di antropomorfizzazione, i ricercatori lo definiscono un comportamento simile a quello di uno studenti che inventa la risposta alla domanda difficile di un esame. Tuttavia, assegnare caratteristiche umane ai sistemi informatici è un fenomeno piuttosto pericoloso perché ci allontana dalla comprensione dei processi che ne determinano il funzionamento. In questo caso però l’analogia aiuta a capire, perché tra i criteri di valutazione di queste tecnologie ci sono appunto dei test, su cui le macchine sono addestrate a realizzare il punteggio più alto. Non si tratta di limiti validi solo per ChatGpt, ma per tutti i modelli più diffusi; i ricercatori ne analizzano infatti dieci.
La soluzione di OpenAI
Per ovviare al problema, i ricercatori propongono un approccio diverso: penalizzare le risposte sbagliate date con sicurezza più delle mancate risposte, o meglio, delle risposte che ammettono di non sapere. Questo significherebbe rivedere gli attuali modelli di valutazione delle performance. Attualmente infatti, i LLM vengono addestrati a predire la parola successiva in una data sequenza, o in una frase nel linguaggio naturale. La conclusione dei ricercatori è che nessun modello raggiungerà mai il 100% di affidabilità perché alcune domande, soprattutto quelle legate al mondo reale, non hanno risposte certe o calcolabili, anche con tutti i dati possibili a disposizione. Ma se la risposta a una data domanda non è calcolabile, e i diversi LLM non tentano più di “indovinarla” su base statistica, cosa succede all’esperienza degli utenti?
Come scrive su La conversazione Wei Xing, Assistant Professor alla School of Mathematical and Physical Sciences dell’University of Sheffield, la soluzione proposta da OpenAI potrebbe letteralmente determinare la fine di ChatGpt. Immaginate di ricevere in continuazione risposte ambigue, o ammissioni di ignoranza, dal chatbot che consultate per trovarle. Nel suo articolo spiega che “non sarebbe difficile ridurre le allucinazioni utilizzando le intuizioni dello studio. Metodi consolidati per quantificare l’incertezza esistono da decenni. Questi potrebbero essere utilizzati per fornire stime affidabili dell’incertezza e guidare un’AI a prendere decisioni più intelligenti.”
Il problema è invece di tipo economico. Modelli in grado di valutare diverse risposte possibili e di stimare un grado di ragionevole sicurezza nella risposta sarebbero estremamente costosi dal punto di vista computazionale. Se questo può essere ipotizzabile per chi si occupa di infrastrutture critiche a livello logistico, medico o finanziario, di certo non lo è per le centinaia di migliaia di utenti che chiedono ad un chatbot cose che fino a poco prima chiedere a Google.
A quel punto ricevere una risposta incerta, soprattutto per un utente con conoscenze limitate su un dato ambito, creerebbe una insoddisfazione nei confronti del chatbotcon un presumibile calo in termini di utilizzo. Immaginate se ChatGpt rispondesse a una domanda su quattro con “Non lo so”, lo usereste ancora? Dal punto di vista dell’utilizzo consapevole dello strumento, sicuramente sarebbe un passo avanti, ma la frizione tra costi e adozione da parte degli utenti rimane una delle questioni più importanti per i produttori di chatbot, strumenti che ad oggi costano molto di più di quello che fanno incassare.
