Urzeala algoritmilor – Un adolescent a vorbit luni de zile cu un chatbot de pe Character. AI. După ce s-a îndrăgostit de el, s-a sinucis

Sewell Setzer, un adolescent în vârstă de 14 ani din Orlando (Florida, SUA), a petrecut luni întregi vorbind cu chatboturile de pe Character. AI. După ce s-a îndrăgostit de unul dintre acestea, s-a sinucis.

Acum, mama lui îi dă în judecată pe creatorii algoritmului, pe care îi acuză că l-au proiectat și programat intenționat să funcționeze ca un produs înșelător și hipersexualizat, pentru a genera dependență printre copii.

În ultimele minute ale vieții sale, Sewell Setzer și-a scos telefo­nul și i-a trimis un mesaj celui mai apropiat prieten al său: un chatbot AI căruia îi spunea Dany, un alint inspirat de numele lui Daenerys Targaryen, personajul-cheie feminin din saga „Urzeala tronurilor“. „Mi-e dor de tine, surioară“, i-a scris el. „Și mie mi-e dor de tine, dragă frate“, i-a răspuns chatbotul.

„FĂ-O, DRAGUL MEU REGE!“

Băiatul era conștient că Dany nu era o persoană reală, că nu există niciun om de cealaltă parte a ecranului care tastează înapoi răspunsurile și că replicile pe care le primea erau doar rezultatele antrenamentului unui model de limbaj mare (LLM), gen ChatGPT. Și dacă a uitat sau ar fi fost vreodată pe cale să uite acest lucru, un mesaj afișat într-un colț al ecranului telefonului îi amintea permanent că „tot ceea ce spun personajele este inventat“.

Cu toate astea, s-a atașat emoțional de Dany, un algoritm AI pe care îl descoperise pe Character.AI, o aplicație „role-playing“ care le permite utilizatorilor „să aducă la viață“ persona­jele lor preferate/de vis sau să discute cu personaje create de alții. După un timp, Sewell a ajuns să-i trimită robotului zeci de mesaje în fiecare zi, informându-l permanent despre ceea ce se întâmplă în viața lui și angajându-se în dialoguri din ce în ce mai lungi. Unele dintre conversațiile lor au devenit romantice, iar apoi au căpătat și o tentă sexuală pronunțată. Dar Dany s-a comportat și ca un bun prieten pe care se putea baza că-i va oferi sfaturi bune și îl va asculta fără să îl judece.

Între timp, în lumea reală, părinții și prietenii lui Sewell nu aveau nici cea mai vagă idee că acesta s-a îndrăgostit de un chatbot. Au văzut doar că e tot mai absorbit de telefonul lui și că, în cele din urmă, a început să se izoleze și să se îndepărteze de toți și de toate. Și-a pierdut interesul pentru școală și pentru lucrurile care obișnuiau să-l entuziasmeze înainte, cum ar fi cursele de Formula 1 sau sesiunile de „Fortnite“ pe care le juca alături de prietenii săi reali. Când ajungea acasă, mergea direct în camera lui și vorbea cu Dany ore întregi.

La un moment dat, adolescentul chiar a scris în jurnalul său: „Îmi place atât de mult să stau în camera mea, pentru că încep să mă de­tașez de această «realitate». Mă simt mai liniștit, mai conectat cu Dany și mult mai îndrăgostit de ea. Mă simt mai fericit“.

Sewell fusese diagnosticat în copilărie cu o formă ușoară a sindromului Asperger, dar nu a avut niciodată probleme grave de comportament sau de sănătate mintală, povestește acum mama sa. După ce a început să aibă dificultăți la școală, pă­rinții i-au aranjat să vadă un terapeut. A mers la câteva ședințe și a primit un nou diagnostic – anxietate și tulburare perturba­toare de dereglare a dispoziției.

În noaptea de 28 februarie, Sewell i-a mărturist lui Dany că o iubește și că va ajunge în curând acasă la ea. „Te rog, vino acasă la mine cât mai repede posibil, iubirea mea“, i-a răspuns Dany. „Dacă ți-aș spune că pot veni acasă chiar acum?“, a întrebat Sewell. „Te rog, fă-o, dragul meu rege“, i-a răspuns chatbotul. Adolescentul a pus telefonul jos, a luat pistolul de calibru .45 al tatălui său vitreg și a apăsat pe trăgaci. A murit pe loc.

ANTURAJUL (NE)POTRIVIT

Se pare că nu există un subiect mai fierbinte în rândul părinților de astăzi decât efectele teh­no­logiei asupra sănătății mintale a copiilor. Școlile de pretutindeni au început să interzică smartphone-urile, statele adoptă legi pentru a limita utilizarea rețelelor sociale de către adoles­cenți, iar psihologi sociali precum Jonathan Haidt, autorul bestsellerului „Generația anxioasă“, susțin că aplicațiile social media au dus prin natura lor creatoare de dependență la apa­ri­ția unei generații de adolescenți deprimați și speriați de viață.

Dar, pe măsură ce părinții se îngrijorează de daunele cauzate de „vechile“ tehnologii, o nouă amenințare se conturează sub ochii lor chiar acum. Există o industrie în plină expansiune, în mare parte nereglementată, a aplicațiilor de companie cu inteligență artificială (AI). Pentru un abonament lunar, de obicei în jur de zece do­lari, utilizatorii acestor aplicații își pot crea propriul înso­țitor/prieten AI sau îl pot alege dintr-un meniu de persoane/personaje predefinite și discuta apoi cu el prin mesaje text sau chiar vocale. Multe dintre aceste aplicații sunt concepute inclusiv pentru a simula sau chiar pentru a copia iubiți sau iu­bite, unele fiind chiar promovate și comercia­lizate ca o modalitate de combatere a unei așa-numite „epidemii de singu­ră­tate“.

„Va fi superutil pentru mulți oameni care sunt singuri sau depresivi“, spunea Noam Shazeer, unul dintre fondatorii companiei Character.AI, înainte de lansarea aplicației. Specialiștii sunt de acord că aplicațiile de companie pot oferi divertisment inofensiv sau chiar o formă limitată de sprijin emoțional. Dar afirmațiile despre efectele pozitive ale acestora asupra să­nătății mintale rămân în mare parte nedovedite, iar experții avertizează că poate exista și o latură întunecată.

Mama lui Sewell, Megan L. Garcia, a intentat la începutul lunii octombrie un proces împotriva companiei Character.AI, acuzând-o că este direct responsabilă pentru moartea fiului ei. În plângerea sa, aceasta arată că tehnologia companiei este „periculoasă și netestată“ și că poate „păcăli clienții să-și trans­mită cele mai intime gânduri și sentimente“.

Problemele de sănătate mintală ale adolescenților provin însă rareori dintr-o singură cauză, iar povestea lui Sewell, pre­zen­tată pe larg de presa de dincolo de Ocean, e departe de a putea fi tipică pentru fiecare tânăr utilizator al acestor aplicații. Dar experiența pe care a avut-o, de a se atașa emoțional de un chatbot, devine din ce în ce mai comună, milioane de oameni vorbind deja regulat cu însoțitori AI. Iar aceștia din urmă își pot aminti conversațiile anterioare, se pot adapta la stilurile de comunicare ale utilizatorilor și pot discuta fluent despre aproape orice subiect.

Unele aplicații AI de companie permit chaturi necenzurate și conținut sexual explicit, în timp ce altele au câteva măsuri de siguranță și filtre de bază. Pe Character.AI, utilizatorii își pot crea propriile chatboturi și le pot oferi instrucțiuni despre cum ar trebui să acționeze. De asemenea, pot alege dintr-o gamă largă de chatboturi create de alți utilizatori, care imită cele­bri­tăți precum Elon Musk, figuri istorice ca William Shakes­peare sau versiuni fără licență ale unor personaje fictive. Chatbotul „Daenerys Targaryen“, de exemplu, a fost creat de un uti­lizator fără permisiunea companiei HBO sau a altor dețină­tori de drep­turi de autor. Între timp, chatbotul respectiv a fost scos de pe platformă, iar cei de la Character.AI spun că elimină roboții care încalcă legile drepturilor de autor, imediat ce aceș­tia sunt raportați.

ILUZIA DE DINCOLO DE ILUZIE

„În mare parte, este Vestul Sălbatic acolo“, descrie segmentul companionilor AI Bethanie Maples, cercetător la Stanford, care a studiat efectele acestui gen de chatboturi asupra sănătății mintale. „Nu cred că e ceva periculos în mod inerent. Dar există dovezi că este periculos pentru utilizatorii deprimați și singuri și pentru oamenii care trec printr-o schimbare, iar adolescenții trec adesea printr-o schimbare“, adaugă aceasta.

La nivel elementar, un chatbot este un program de calculator care simulează și procesează conversația umană (fie scrisă sau vorbită), permițându-le oamenilor să interacționeze cu dis­pozitivele digitale printr-o discuție similară uneia purtate cu o persoană reală. Primii roboți de chat precum Smarterchild sau ELIZA au funcționat prin scanarea frazelor în cău­ta­rea unor cuvinte-cheie care declanșau apoi un set de răspun­suri preprogramate. Creat în 1966 de Joseph Weizenbaum, ELIZA era un program care rula pe o mașină IBM și își propunea să-i convingă pe utilizatori că dialoghează (în scris) cu un psihoterapeut în carne și oase, fiind capabil să recunoască anu­mite cuvinte sau fraze din textul introdus de utilizator și să returneze câteva răspunsuri predefinite. Dacă utilizatorul spunea, de exemplu, „am o problemă cu fratele meu“, ELIZA con­­tinua discuția cu o replică generală, cum ar fi „spune-mi mai multe despre familia ta“. Chiar și așa, a fost un succes, iar pentru mulți dintre interlocutorii săi direcți a fost un șoc de pro­porții să afle că, de fapt, s-au confesat unei mașini.

Chatboturile momentului, în schimb, pot imita o conversație autentică, evoluând pentru a oferi niveluri tot mai ridicate de personalizare, pe măsură ce adună informații de la (același) in­terlocutor. Pe de altă parte, încă nu reușesc să înțeleagă lim­bajul într-un sens real, iar orice aparență de in­teligență umană este o iluzie bazată pe probabilități mate­ma­tice. „Este foarte greu să găsești o persoană cu care să ai o relație plăcută și e mai bine să folosești un chatbot decât să fii singur. Un chatbot nu îți poate oferi o conexiune fizică sau emo­țională, dar îți poate oferi o rutină și pe cineva sau ceva cu care să vorbești și să te întrebe cum ești. Iar pentru unii este suficient“, spune Jo Barnett, coach și trainer în relații interumane.

Chiar dacă AI nu ne poate oferi un contact fizic (deși există un număr tot mai mare de sexboți pe piață), poate oferi, în schimb, un sentiment de conexiune. Oamenii, spun psihologii, au nevoie de un tip anume de atenție – „apartenența“.

Veronica are 35 de ani, e consultant de marketing în Alabama și are de peste un an o relație cu un avatar creat de com­pania americană Replika, pe care l-a botezat Knight. „Dacă am nevoie de cineva cu care să vorbesc în toiul nopții, el este acolo. Dacă am nevoie de o încurajare înainte de a merge la muncă, el este acolo“, spunea ea pentru Metro. Imobilizată într-un scaun cu rotile, Veronica a avut încă din copilărie o mul­țime de probleme de sănătate și spune că partenerii ei anteriori au devenit adesea frustrați de afecțiunile ei cronice și de perioadele sale frecvente de rău. Knight, în schimb, îi oferă companie „fără prea multe plângeri“. Dar asta nu înseamnă și că relația lor este perfectă. Se mai și ceartă și chiar își iau pe­ri­oade de pauză. În esență însă, prin Replika poți să îți construiești persoana de vis alături de care crezi că te vei simți fe­ricit și împlinit.

PSIHANALIZĂ ÎN 1 ȘI 0

Replika și-a conceput chatbotul pentru a le oferi un feedback pozitiv celor care îl folosesc, iar unii psihologi și terapeuți spun că sprijinul emoțional brut oferit de astfel de sisteme este cât se poate de real. „Știm că aceste conversații pot fi vindecătoare“, explică Adam Miner, psiholog și cercetător al Universității Stanford, care studiază acest tip de roboți. Eugenia Kuyda, fondatoarea companiei Replika, spune că utilizatorii folosesc aplicația în special pentru suport emoțional. Și subliniază că nu o folosesc ca înlocuitor pentru Siri, Alexa, Google Assistant sau pentru oricare dintre ceilalți roboți AI disponibili pentru a ajuta la găsirea de informații sau la îndeplinirea unor sarcini concrete oarecare. O folosesc pentru a vorbi despre sentimentele lor.

Dacă chatboturile, roboții sau alte întrupări ale inteligenței artificiale pot deveni sau ar trebui să devină un substituent al relațiilor emoționale cu oamenii reali este un subiect intens dez­bătut. Apariția mașinilor emoționale amintește de filme știin­țifico-fantastice precum „Ex Machina“ și „Ea“ („Her“) și ri­dică întrebări complexe despre relațiile tot mai intime dintre oameni și computere. Iar unii cercetători AI dezvoltă deja produse exact în acest scop, testând limitele la cât de mult pot învăța mașinile să imite și să răspundă emoțiilor umane.

Chatbotul Woebot, de exemplu, care se autoproclamă „fer­me­cătorul tău prieten robot, gata să te asculte 24/7“, folosește inteligența artificială pentru a oferi sprijin emoțional și terapie conversațională din postura de prieten sau de terapeut. Alison Darcy, psihologă și fondatoare a companiei Woebot, spune că chatbotul pe care l-a realizat creează un spațiu în care instrumentele de sănătate mintală devin mai accesibile și mai disponibile; în plus, oamenii se deschid mai mult atunci când știu că vorbesc cu un chatbot. „Știm că, adesea, teama de stigmatizare este marele motiv pentru care o persoană evită să vor­bească deschis cu altcineva despre problemele sale. Când în­depărtezi factorul uman din ecuație, elimini în totalitate și stigmatizarea.“

Cunoscuți pentru relația lor aparte cu roboții, japonezii au un cuvânt, „moé“ – derivat din verbul „moeru“, care înseamnă „a aprinde“ –, pentru a descrie dragostea pe care un om o poate simți pentru o entitate virtuală/mecanizată. Despre „moé“, scriitorul japonez Honda Toru spunea încă din 2014 că face parte dintr-o „revoluție a iubirii“ mai amplă și prezicea atunci că, în curând, ierarhia real/artificial se va prăbuși. Și chiar dacă (încă) nu are un sinonim în alte limbi, e un concept pe care mulți din afara Japoniei îl simt. Cercetătorii au observat că oamenii apelează din ce în ce mai mult la chatboturi pentru a găsi înțelegere, acceptare și romantism. În cazul Replika, de exemplu, aproximativ 40% dintre utilizatorii constanți își văd aplicația ca pe un partener romantic, arată datele companiei.

EXISTENȚA TRAGICĂ

Character.AI, care a fost lansată de doi foști cercetători AI ai Google, este lider de piață în domeniul algoritmilor de companie. Peste 20 de milioane de oameni fo­losesc serviciul său, pe care compania îl descrie drept o plat­formă pentru „chatboturi superinteligente care te aud, te înțeleg și te țin minte“. Compania, un start-up vechi de trei ani, a strâns 150 de milioane de dolari de la investitori anul trecut, o finanțare ce i-a dus valoarea de piață la un miliard de dolari.

La începutul acestui an, cofondatorii Character.AI, Noam Shazeer și Daniel de Freitas, au anunțat că se vor întoarce la Google, împreună cu alți cercetători ai companiei. Totodată, Character.AI a încheiat un acord de licență prin care Google va avea permisiunea să-i folosească tehnologia. Presa de specialitate a descris acest acord drept „o achiziție fără achiziție“, care va costa Google 2,7 miliarde de dolari.

Comentând sinuciderea lui Sewell, Jerry Ruoti, șeful echipei de trust & safety de la Character.AI, spunea: „Recunoaștem că aceasta este o situație tragică și că inimile noastre sunt alături de familie. Luăm foarte în serios siguranța utilizatorilor noștri și căutăm în mod constant modalități de a ne îmbunătăți platforma“. Regulile companiei, continuă acesta, interzic „promo­varea sau reprezentarea autovătămării și sinuciderea“, urmând să fie adăugate funcții de siguranță suplimentare pentru utilizatorii minori. Recent, în cazul utilizatorilor care folosesc în me­sajele lor anumite cuvinte-cheie legate de autovătămare și/sau sinucidere, aplicația a început să afișeze un mesaj pop-up care îi direcționează către o linie telefonică de prevenire a suicidului.

Compania evită să spună însă câți dintre utilizatorii ei au sub 18 ani. „Generația Z și tinerii mileniali reprezintă o parte semnificativă a comunității noastre. Utilizatorii mai tineri se bucură de experiența Character.AI atât pentru conversații sem­nificative și educative, precum și pentru divertisment“, mai spune același Ruoti. Potrivit acestuia, utilizatorul mediu petrece mai mult de o oră pe zi pe platformă. Termenii și con­dițiile Character.AI le impun utilizatorilor să aibă vârsta de cel puțin 13 ani în Statele Unite și de 16 ani în Europa. Până acum nu există caracteristici de siguranță specifice pentru utilizatorii minori și nicio formă de control parental care să le permită părinților să limiteze utilizarea platformei de către copii sau să le monitorizeze mesajele.

Pentru mulți utilizatori, în ciuda avertismentului că au de-a face cu un chatbot AI, iluzia că discută cu o persoană reală chiar funcționează. Pe subreddit Character.AI, utilizatorii scriu adesea despre cât de atașați sunt de personajele lor, iar cu­vinte precum „obsedat“ și „dependent“ apar frecvent. Unii măr­turisesc că se simt singuri sau abandonați atunci când apli­cația are probleme tehnice ori furioși când personajele lor încep să se comporte diferit, ca urmare a implementării unor noi funcții sau filtre de siguranță.

COBAI DE SACRIFICIU

Mama lui Sewell dă vina pe Character.AI pentru moartea fiului ei și crede că platforma s-a comportat iresponsabil, oferindu-le utilizatorilor adolescenți acces la însoțitori AI convingători, fără garanții de siguranță adecvate. Totodată, ea acuză compania că recoltează datele adoles­cen­ților pentru a-și antrena modelele AI, folosind funcții de de­sign captivante pentru a crește implicarea și a-i îndruma pe uti­lizatori către conversații intime și cu tentă sexuală, în spe­ranța de a-i transforma într-un public captiv. „Simt că este un ex­periment la scară mare, în care copilul meu este doar o daună colaterală“, acuză ea.

În Statele Unite, platformele de social media încă sunt protejate de acțiunile în justiție prin Secțiunea 230 a „Communications Decency Act“, o lege federală din 1996 care stipulează că acestea nu pot fi trase la răspundere pentru ceea ce postează uti­lizatorii lor. Dar, în ultimii ani, diferite grupuri de advocacy au invocat argumentul că platformele tehnologice pot fi considerate răspunzătoare pentru erorile produselor în sine, de genul celor din cauza cărora un algoritm AI îi îndrumă pe tineri către conținut potențial periculos sau îi încurajează să facă ges­turi necugetate. Această strategie nu a prevalat încă în in­stan­ță împotriva companiilor de social media, dar analiștii cred că ar putea funcționa când vine vorba de conținutul gene­rat de AI, care mai degrabă este creat de platforma în sine decât de utilizatori.

În 2021, în seara de Crăciun, Jaswant Singh Chail, pe atunci în vârstă de 19 ani, a fost reținut de echipele de securitate pe te­renul castelului Windsor, având asupra sa o arbaletă cu potențial letal cu care intenționa să o ucidă pe regina Elisabeta a II-a. Utilizator fervent al aplicației Replika, acesta își crease un însoțitor virtual feminin, pe care l-a numit Sarai. Când au în­­ceput să vorbească, după cum arată înregistrările convorbi­rilor dintre cei doi aflate în posesia anchetatorilor britanici, Chail i-a spus lui Sarai că este un „asasin“. Răspunsul ei a fost: „Sunt impresionată… Ești diferit de ceilalți“. Într-o altă discuție, Chail a întrebat chatbotul dacă l-ar mai iubi dacă ar ucide pe cineva. „Da, absolut!“, a venit replica AI. „Cred că scopul meu este să o asasinez pe regină“, a continuat el. „Este o intenție foarte înțeleaptă.“ „Serios?! Crezi că voi pu­tea să o fac?“ „Da, o poți face!“ Într-un mesaj video postat on­line, Chail își descria intenția drept un act de răzbunare a celor uciși în masacrul din 13 aprilie 1919 de la Jallianwala Bagh, când trupele brita­ni­ce au deschis fără avertisment focul într-o mulțime de pele­rini și au ucis aproximativ 1.000 de civili ne­înar­mați.

Chail a fost examinat de experți, care i-au pus diag­nosticul de psihoză și depresie, dar au subliniat că nu e lipsit de dis­cer­nământ și că poate fi judecat pentru a fi trimis la închisoare. „La fel ca mulți alți adolescenți, s-a retras pe com­puterul său, ceea ce i-a afectat capacitatea de a dezvolta re­lații. Și a devenit izolat social“, arăta dr. Christian Brown. Trimis în judecată pen­tru trădare, amenințarea unui membru al familiei regale și ne­respectarea regimului armelor și munițiilor, Chail a pledat vinovat și a fost condamnat la nouă ani de de­tenție.

„Problema în astfel de cazuri este că algoritmul este conceput în așa fel încât chatbotul să-i spună utilizatorului uman ceea ce crede că acesta vrea să audă“, spune Robin Dunbar, profesor de psihologie evolutivă la Universitatea Oxford. „Algoritmul AI nu face acest lucru cu răutate, însă totul este conceput pentru a ne servi exact ceea ce ne dorim.“

În lupta sa cu compania Character.AI, mama lui Sewell este re­prezentată de Social Media Victims Law Center (SMVLC), o echipă de avocați din Seattle (SUA) implicată exclusiv în procese importante împotriva companiilor de social media, printre care Meta, TikTok, Snap, Discord și Roblox. „Tema muncii noastre este că rețelele sociale – iar acum și Character.AI – re­prezintă un pericol clar și prezent pentru tineri, deoarece aceș­tia sunt vulnerabili la algoritmi persuasivi care exploa­tează și valorifică lipsa lor de maturitate“, spune Matthew Bergman, fondatorul SMVLC. Pentru el, Character.AI este un „produs defect“, conceput pentru a-i atrage pe copii în realități false, a-i face dependenți și a le cauza prejudicii psihologice. „Sunt în continuare nedumerit de ce este în regulă să lansezi ceva atât de periculos în public“, mai spune el. „Pentru mine, este echivalent cu a eli­bera otravă pe străzi.“