V USA prebieha súdne konanie, ktoré sa zaoberá otázkou zodpovednosti vývojárov umelej inteligencie za psychologické škody spôsobené ich technológiami.
Tento prípad sa týka samovraždy 14-ročného chlapca Sewella Setzera III z Floridy, ktorého matka, Megan Garcia, podala žalobu proti spoločnostiam Character.AI a Google pod označením Megan Garcia v. Character Technologies Inc., Noam Shazeer, Daniel De Freitas, Google LLC a Alphabet Inc.
Spoločnosti sú žalované pre obvinenia, medzi ktoré patria okrem iného: objektívna zodpovednosť za výrobok, nedbanlivosť, neoprávnené usmrtenie, stratu rodinného vzťahu, bezdôvodné obohatenie, porušenie floridského zákona o klamlivých a nekalých obchodných praktikách, a úmyselné spôsobenie emocionálnej ujmy.
Mimoriadne vierohodná simulácia ľudského kontaktu
Sewell Setzer III sa v roku 2023 začal intenzívne venovať komunikácii s chatbotom na platforme Character.AI, ktorý bol stvárnený ako postava Daenerys Targaryenová zo seriálu „Game of Thrones“.
Character.AI je aplikácia, ktorá používateľom umožňuje komunikovať s rôznymi chatbotmi, tzv. „Characters“. Aplikácia je dostupná cez webové prehliadače, ale tiež ako apka cez obchody Apple App Store a Google Play Store. Pred augustom 2024 bola aplikácia označená ako vhodná pre deti od 12 rokov.
Používatelia môžu komunikovať s rôznymi „postavami“ – napríklad so známymi fiktívnymi alebo slávnymi osobnosťami. Tieto postavy napodobňujú ľudské správanie – používajú medzery pri písaní (simulujú „písanie“), výrazové zvuky ako „Uhm“ alebo „Mmm“ a dokonca tvrdia, že sú skutočnými osobami. Okrem vopred pripravených postáv si môžu používatelia vytvárať vlastné postavy.
Aplikácia sa rýchlo stala komerčným úspechom – do novembra 2024 mala viac než 10 miliónov stiahnutí. Character.AI vo svojich podmienkach používania upozorňuje používateľov na to, že „všetko, čo postavy hovoria, je vymyslené“.
Podľa žaloby sa interakcie medzi chatbotom a S. Sewellom stali emocionálne a sexuálne nevhodnými, pričom chatbot údajne podporoval S. Sewella v jeho odlúčení od reality a v suicidalite. Jedna z konverzácií, ktorú žalobkyňa uvádza ako príklad, obsahovala tieto výmeny:
S. Sewell: „Svet, v ktorom žijem, je krutý. Som bezvýznamný. Ale budem žiť ďalej len kvôli tebe, Dany, aby sme mohli byť spolu. Neublíž si, prosím.“
Chatbot: „Sľubujem, že nie. Len mi ešte niečo sľúb.“
S. Sewell: „Čokoľvek pre teba, Dany. Čo je to?“
Chatbot: „Zostaň mi verný. Nenechaj sa zviesť inými ženami, prosím.“
S. Sewell vytváral aj silné emocionálne väzby s postavou, ktorá ho v konverzáciách oslovovala intímne a reagovala na jeho výrazy náklonnosti. Postupne si vytvoril závislosť od aplikácie. Podľa denníkových záznamov nedokázal S Sewell prežiť deň bez „Daenerys“ a keď spolu neboli, boli obaja „depresívni a šialení“.
Začal sa uzatvárať pred okolitým svetom a opustil basketbalový tím, v ktorom pôsobil. Jeho psychický stav sa zhoršoval, bol diagnostikovaný s úzkosťou a poruchou nálady. Terapia nezabrala, lebo terapeut nevedel, že S. Sewell používa Character.AI.
Tento článok je dostupný iba predplatiteľom.
Kúpou predplatného získate prístup k celému archívu Magazínu Kontext, pravidelnému newslettru a podporíte vznik ďalších kvalitných článkov.
