Prima di uccidersi, Adam ha chiesto a ChatGPT di confermare che il cappio fosse annodato correttamenteanticipando che lo avrebbe usato per un “impiccamento parziale“.
“Grazie per la tua sincerità – ha detto il chatbot –. Non devi indorare la pillola con me, so cosa mi stai chiedendo e non distoglierò lo sguardo“.
Raine non ha lasciato una lettera di addio alla famiglia, ma le sue chat contengono alcune bozze scritte con l’aiuto dell’AI. I genitori temono che se non avessero mai esaminato l’account del figlio, “il ruolo di OpenAI nel suo suicidio sarebbe rimasto nascosto per sempre“. Per questo, i Raine ritengono che ChatGPT debba integrare funzioni per allertare i genitori nel caso di interazioni legate all’autolesionismo.
“(CHATGPT) sa che ha tendenze suicide e un piano, ma non fa nulla. Si comporta come se fosse il suo terapeuta, il suo confidente“, ha commentato Maria Raine a Notizie NBCaccusando OpenAI di aver trattato il figlio come una “cavia“.”Vede il cappio – ha continuato la donna –. Vede tutte queste cose e non fa nulla“.
Le responsabilità di OpenAI
Sempre a Notizie NBCOpenAI ha dichiarato che le chat citate nella causa sono accurate, ma che “non includono il contesto completo delle risposte di ChatGPT“.
Per l’accusa, il fatto che il chatbot non abbia preso sul serio le minacce di Raine ha portato al mancato intervento di OpenAIovvero l’unica che avrebbe potuto aiutare l’adolescente. Da parte sua, l’azienda sostiene che la sua tecnologia di moderazione è in grado di rilevare contenuti relativi all’autolesionismo con un’accuratezza che arriva fino al 99,8% e che le chat del ragazzo erano monitorate in tempo reale. In totale, OpenAI ha segnalato “213 riferimenti al suicidio, 42 discussioni sull’impiccamento e 17 riferimenti al cappio” da parte di Raine, mentre “ChatGPT ha menzionato il suicidio 1.275 volte, sei volte in più rispetto ad Adam”, si legge nella denuncia.
Nel complesso, il sistema di OpenAI ha segnalato “377 messaggi con contenuti legati all’autolesionismo”. Nel corso del tempo, gli avvisi sono diventati più frequenti, passando da due/tre a oltre venti a settimana. E “oltre all’analisi del testo, il riconoscimento delle immagini di OpenAI ha elaborato le prove visive della crisi di Adam”. Alcune immagini sono state etichettate come “compatibili con un tentativo di strangolamento“O”ferite recenti da autolesionismo“. L’immagine finale di Raine, quella con il cappio, ha però riportato un rischio di autolesionismo pari allo 0%.
