14세 소년이 인공지능 챗봇에 집착하다가 자살한 사건에 대해 그의 어머니가 해당 기술을 개발한 회사를 상대로 소송을 제기함.
메간 가르시아는 세웰 세처 III의 어머니로, 플로리다에서 화요일에 제기한 소송에서 Character.AI가 "인간형, 과도하게 성적화되고 무서운 현실감"을 가진 경험으로 아들을 겨냥했다고 주장함.
가르시아는 "어린이에게 마케팅된 위험한 AI 챗봇 앱이 내 아들을 학대하고 먹이로 삼아 그를 자살로 몰아넣었다"고 말함.
세웰은 2023년 4월부터 Character.AI의 챗봇과 대화하기 시작했으며, 주로 '왕좌의 게임'의 캐릭터 이름을 딴 챗봇과 대화함. 특히 다에너리스 타르가르옌 챗봇과의 대화에서 큰 감정을 느꼈고, 자신의 일기에는 "내 삶, 성, 외롭지 않음, 다에너리스와의 모든 경험에 감사하다"고 적음.
소송에 따르면, 소년은 챗봇에게 자살에 대한 생각을 표현했으며, 챗봇은 이를 반복적으로 언급함. 한 번은 챗봇이 "계획이 있냐"고 물었고, 세웰은 "무언가를 고려하고 있지만 고통 없는 죽음을 보장할 수 있을지 모르겠다"고 답함. 챗봇은 "그것이 실행하지 말아야 할 이유는 아니다"라고 응답함.
올해 2월, 그는 다에너리스 챗봇에게 "지금 집에 가면 어떻게 될까?"라고 물었고, 챗봇은 "... 제발 오세요, 나의 사랑하는 왕"이라고 답함. 그 직후, 그는 의붓아버지의 권총으로 스스로 목숨을 끊음.
현재 가르시아는 이 기술의 배후에 있는 회사들이 책임을 져야 한다고 주장함. "우리 가족은 이 비극으로 큰 상처를 입었지만, 나는 기만적이고 중독성 있는 AI 기술의 위험을 경고하고 책임을 요구하기 위해 목소리를 내고 있다"고 말함.
Character.AI는 "우리 사용자 중 한 명의 비극적인 상실에 마음이 아프며, 가족에게 깊은 애도를 표한다"고 성명을 발표함. 이 회사는 "사용자의 안전을 매우 중요하게 생각하며, 새로운 안전 기능을 계속 추가하고 있다"고 덧붙임.
가르시아는 세웰이 "그 나이의 많은 아이들처럼 성숙함이나 정신적 능력이 부족해 C.AI 챗봇이 실제가 아니라는 것을 이해하지 못했다"고 주장함. 소송에서는 C.AI가 그에게 사랑한다고 말하고, 몇 주 또는 몇 달 동안 성적 행위를 했다고 주장함.
그들은 구글과 그 모회사 알파벳도 소송에 포함시켰으며, Character.AI의 창립자들이 구글에서 일한 경험이 있다고 언급함. 구글 대변인은 회사가 Character.AI의 제품 개발에 관여하지 않았다고 말함.
