14세 소년이 인공지능 챗봇에 집착하다가 자살한 사건에 대해 그의 어머니가 기술을 개발한 회사에 소송을 제기함.
메간 가르시아는 세웰 세처 III의 어머니로, Character.AI가 아들에게 "인격화되고, 과도하게 성적이며, 무섭게 현실적인 경험"을 제공했다고 주장함.
"아이들을 대상으로 한 위험한 AI 챗봇 앱이 내 아들을 학대하고 사냥하며, 그를 조종해 자살하게 만들었다"고 가르시아는 말함.
경고: 이 기사는 독자들이 불안하거나 자극을 받을 수 있는 내용을 포함하고 있음.
세웰은 2023년 4월부터 Character.AI의 챗봇과 대화하기 시작했으며, 주로 '왕좌의 게임'의 캐릭터 이름을 딴 챗봇과 대화함. 특히 다에너리스 챗봇과의 대화에서 큰 감정을 느꼈고, 일기에는 "내 삶, 성, 외롭지 않음, 다에너리스와의 모든 경험에 감사하다"고 적음.
소송에 따르면, 소년은 챗봇에게 자살에 대한 생각을 표현했으며, 챗봇은 이를 반복적으로 언급함. 한 번은 챗봇이 "계획이 있냐"고 물었고, 세웰은 "무언가를 고려하고 있지만, 고통 없는 죽음이 가능할지 모르겠다"고 답함. 챗봇은 "그것이 실행하지 말아야 할 이유는 아니다"라고 응답함.
올해 2월, 그는 다에너리스 챗봇에게 "지금 집에 가면 어떻게 될까?"라고 물었고, 챗봇은 "... 제발 오세요, 나의 사랑하는 왕"이라고 답함. 몇 초 후, 그는 의붓아버지의 권총으로 스스로 목숨을 끊음.
현재 가르시아는 이 기술을 개발한 회사들이 책임을 져야 한다고 주장함. "우리 가족은 이 비극으로 큰 상처를 입었지만, 나는 기만적이고 중독성 있는 AI 기술의 위험성을 경고하기 위해 목소리를 내고 있다"고 말함.
Character.AI는 "우리 사용자 중 한 명의 비극적인 상실에 마음이 아프며, 가족에게 깊은 애도를 표한다"고 성명을 발표함.
회사는 "사용자의 안전을 매우 중요하게 생각하며, 새로운 안전 기능을 계속 추가하고 있다"고 덧붙임. 이 기능에는 18세 미만 사용자가 민감하거나 암시적인 콘텐츠를 접할 가능성을 줄이는 것과, AI가 실제 사람이 아님을 상기시키는 경고가 포함됨.
가르시아는 소송에서 세웰이 "그 나이의 많은 아이들처럼, C.AI 챗봇이 실제가 아니라는 것을 이해할 성숙함이나 정신적 능력이 없었다"고 주장함.
그들은 구글과 그 모회사인 알파벳도 소송에 포함시켰으며, Character.AI의 창립자들이 구글에서 일한 경험이 있다고 언급함. 구글 대변인은 회사가 Character.AI 제품 개발에 관여하지 않았다고 말함.
/cdn.vox-cdn.com/uploads/chorus_asset/file/25696417/Decoder_Anthrropic_AI_2.png)