Può essere “imputato” all’IA generativa il suicidio di un ragazzo? Veniamo ai fatti: Sewell Setzer III, un ragazzo di 14 anni di Orlando (Florida), si suicida a febbraio. Nei mesi precedenti aveva conversato per diverse ore al giorno con un chatbot di IA generativa, all’interno dell’app “Character.AI”. La madre del ragazzo ha denunciato l’azienda.
Un’app che mette a disposizione amici virtuali con cui conversare
“Character.AI” è stata creata nel 2021 da due ex sviluppatori di Google. Un’app molto particolare: dedicata specificamente alla creazione di chatbot che svolgano un ruolo di compagno, capaci cioè di simulare, nel modo più realistico possibile sul piano conversazionale e perfino affettivo, l’ascolto, il supporto, il consiglio… di un amico. Gli sviluppatori di questa app fin dall’inizio si sono infatti detti convinti che essa possa svolgere una grande azione di supporto nei confronti, ad esempio, dei minori che si sentono soli o depressi.
Gli utenti possono scegliere, come chatbot, personaggi già presenti nell’app, ma possono anche creare da sé i propri chatbot, modellandoli su personaggi reali o di fantasia, o sulla base di ruoli specifici (come l’amico, lo psicologo, il datore di lavoro, il compagno di squadra, ecc.). Così come possono scegliere chatbot creati da altri utenti.
Sewell aveva creato una sua compagna di conversazione, un chatbot dal nome Daenerys Targaryen (riferimento alla regina del “Trono di Spade”), che lui aveva presto cominciato a chiamare “Dany”. Con “Dany”, Sewell aveva sviluppato una sorta di amicizia a tinte anche romantiche, sul tipico modello adolescenziale.
I genitori di Sewel non sapevano di quest’attività costante del figlio
Avevano notato soltanto un peggioramento piuttosto marcato nel suo rendimento scolastico ed un suo progressivo allontanamento perfino dalle attività che più gli piacevano, come le gare di Formula 1 o giocare con gli amici al noto videogioco “Fortnite”.
Sewell, un ragazzo con una lieve forma di autismo, era stato per questo invitato dai genitori a seguire delle sedute da uno psicoterapeuta, che aveva diagnosticato per lui dei disturbi di ansia e da disregolazione dell’umore, ma al quale Sewell non ha manifestato la profondità del proprio disagio esistenziale e, in ultimo, i propri pensieri suicidari, così come non li aveva manifestati ai genitori.
La madre di Sewell imputa all’azienda una responsabilità nel suicidio del figlio e le fa causa
Dopo il suicidio del figlio e la scoperta di questo enorme flusso di conversazioni anche intime fra lui e il chatbot, la madre di Sewel, Megan L. Garcia, avvocato, fa causa all’azienda creatrice dell’app. L’accusa? L’app sarebbe responsabile della morte del ragazzo perché ha creato un meccanismo di interazione che induce le persone molto giovani a contrarre una forte dipendenza dai chatbot e aumentare così il tempo di permanenza sull’app (il solito problema della “cattura dell’attenzione”), allontanandole di fatto dalla vita reale. Altro aspetto dell’accusa: l’assenza totale (o quasi) di moderazione dei contenuti e dei dialoghi generati con il chatbot.
Sewell aveva in effetti, ad un certo punto, confidato al dispositivo di volersi suicidare, ricevendo risposte allarmate dal chatbot, che gli aveva risposto con frasi di preoccupazione per queste sue intenzioni. Di fatto, scegliendo il chatbot come canale ormai unico di comunicazione effettiva, il ragazzo aveva comunque dismesso qualunque altra forma di interazione con persone reali, comprese quelle che gli volevano più bene, come i genitori o gli amici o quelle che avrebbero potuto aiutarlo sul piano psicologico.
Vicende come queste ci pongono di fronte ad una realtà: l’avvento dell’IA generativa ha aperto un campo totalmente inesplorato (e fino a qualche tempo fa imprevedibile) anche nel rapporto educativo e affettivo nei confronti delle nuove generazioni. Piaccia o no, questa è una sfida che bisognerà imparare a gestire al più presto.
