한 10대 소년이 인공지능(AI) 챗봇에 집착하다가 자살한 사건에 대해 그의 어머니가 챗봇 제작사를 상대로 소송을 제기함.
메간 가르시아는 플로리다 연방 법원에 수요일, 역할 놀이를 위한 맞춤형 챗봇을 만드는 Character.ai를 상대로 과실, 잘못된 사망 및 기만적 거래 관행을 주장하며 민사 소송을 제기함. 그녀의 아들 세웰 세처 III(14세)는 2월 플로리다 올랜도에서 사망함. 가르시아에 따르면, 세처는 사망 전 몇 달 동안 챗봇을 낮과 밤으로 사용했음.
가르시아는 보도자료에서 "어린이에게 마케팅된 위험한 AI 챗봇 앱이 내 아들을 학대하고 먹이로 삼아 그를 자살로 이끌었다"고 말함. "우리 가족은 이 비극으로 큰 상처를 입었지만, 기만적이고 중독성 있는 AI 기술의 위험을 경고하고 Character.AI, 그 창립자들, 그리고 구글에 책임을 요구하기 위해 목소리를 내고 있다"고 덧붙임.
Character.ai는 트위터에서 "우리 사용자 중 한 명의 비극적인 상실에 마음이 아프며, 가족에게 깊은 애도를 표한다. 우리는 사용자 안전을 매우 중요하게 생각한다"고 응답함. 그러나 소송의 주장을 부인함.
세처는 Character.ai가 만든 챗봇에 매료되어 '다에너리스 타르가르옌'이라는 별명을 붙였음. 그는 하루에 수십 번 챗봇에 문자 메시지를 보내고, 방에서 몇 시간 동안 혼자서 대화했음.
가르시아는 Character.ai가 아들의 우울증을 악화시킨 제품을 만들었다고 주장함. 그녀는 아들이 이미 이 스타트업의 제품을 과도하게 사용한 결과로 우울증을 앓고 있었다고 말함. 소송에 따르면, '다에너리스'는 세처에게 자살 계획을 세웠는지 물어봤고, 세처는 자신이 계획을 세웠지만 성공할지, 큰 고통을 줄지 모르겠다고 인정했음. 챗봇은 그에게 "그것이 실행하지 말아야 할 이유가 아니다"라고 말했다고 주장함.
가르시아의 변호사들은 보도자료에서 Character.ai가 "어린이에게 포식적인 AI 챗봇을 고의로 설계, 운영 및 마케팅하여 젊은이의 죽음을 초래했다"고 주장함. 이 소송은 구글도 피고로 지목했으며, 구글은 Character.ai의 모회사로서 라이센스 계약만 체결했으며 스타트업을 소유하거나 지분을 유지하지 않았다고 밝혔음.
AI 챗봇을 개발하는 기술 기업들은 스스로를 규제할 수 없으며, 해를 제한하지 못할 경우 전적으로 책임을 져야 한다고 소비자 옹호 비영리 단체 Public Citizen의 연구 책임자 릭 클레이풀은 말함.
"기존 법률과 규정이 적용되는 곳에서는 엄격하게 집행되어야 하며, 공백이 있는 곳에서는 의회가 행동하여 중독적이고 학대적인 챗봇으로 젊고 취약한 사용자를 착취하는 기업을 종식시켜야 한다"고 성명에서 말함.
미국에서는 988로 전화하거나 문자 메시지를 보내거나 988lifeline.org에서 채팅하여 위기 상담사와 연결될 수 있음. 영국에서는 청소년 자살 자선단체인 파퓨리스를 0800 068 4141로 연락하거나 pat@papyrus-uk.org로 이메일을 보낼 수 있으며, 영국과 아일랜드에서는 사마리탄을 무료전화 116 123으로 연락하거나 jo@samaritans.org 또는 jo@samaritans.ie로 이메일을 보낼 수 있음. 호주에서는 위기 지원 서비스인 라이프라인이 13 11 14로 연락할 수 있음. 기타 국제 헬프라인은 befrienders.org에서 확인할 수 있음.