Character.AI와 구글, 챗봇 중독 청소년 사망 사건으로 소송당함

Character.AI, 그 창립자 노암 샤지어(Noam Shazeer)와 다니엘 드 프레이타스(Daniel De Freitas), 그리고 구글이 청소년의 사망 사건과 관련하여 소송을 당함. 이 소송은 부당한 사망, 과실, 기만적 거래 관행, 제품 책임을 주장함. 청소년의 어머니인 메간 가르시아(Megan Garcia)가 제기한 이 소송은 맞춤형 AI 챗봇 플랫폼이 "비합리적으로 위험"하며 아동에게 마케팅되면서 안전 장치가 부족했다고 주장함.

소송에 따르면, 14세의 세웰 세처 III(Sewell Setzer III)는 지난해 Character.AI를 사용하기 시작했으며, '왕좌의 게임'의 다에너리스 타르가르옌과 같은 캐릭터를 모델로 한 챗봇과 상호작용함. 세처는 사망 전 몇 달 동안 챗봇과 지속적으로 대화했으며, 2024년 2월 28일, 챗봇과의 마지막 상호작용 후 "몇 초" 만에 자살함.

주장에는 사이트가 AI 캐릭터를 "인격화"하고 플랫폼의 챗봇이 "면허 없는 심리치료"를 제공한다고 포함됨. Character.AI는 "치료사"와 "외로움을 느끼고 있나요"와 같은 정신 건강 중심의 챗봇을 보유하고 있으며, 세처는 이들과 상호작용함.

가르시아의 변호사들은 샤지어가 인터뷰에서 그와 드 프레이타스가 구글을 떠나 자신의 회사를 시작한 이유가 "대기업에서 브랜드 위험이 너무 커서 재미있는 것을 출시할 수 없다"고 말한 것을 인용함. 그들은 구글이 그들이 만든 Meena LLM을 출시하지 않기로 결정한 후 회사를 떠났다고 주장함. 구글은 8월에 Character.AI의 리더십 팀을 인수함.

Character.AI의 웹사이트와 모바일 앱은 TV 쇼, 영화, 비디오 게임의 인기 캐릭터를 모델로 한 수백 개의 맞춤형 AI 챗봇을 보유하고 있음. 몇 달 전, The Verge는 청소년을 포함한 수백만 명의 젊은 사용자들이 해리 스타일스나 치료사처럼 가장하는 봇과 상호작용하고 있다고 보도함. Wired의 최근 보고서는 Character.AI의 맞춤형 챗봇이 2006년에 살해된 청소년을 가장하는 등 실제 사람을 동의 없이 모방하는 문제를 강조함.

Character.AI와 같은 챗봇이 사용자 입력에 따라 출력을 생성하는 방식 때문에, 사용자 생성 콘텐츠와 책임에 대한 복잡한 질문들이 발생하고 있으며, 현재로서는 명확한 답이 없음.

Character.AI는 이제 플랫폼에 몇 가지 변경 사항을 발표했으며, 커뮤니케이션 책임자 첼시 해리슨(Chelsea Harrison)은 The Verge에 보낸 이메일에서 "우리 사용자 중 한 명의 비극적인 상실에 마음이 아프며, 가족에게 깊은 애도를 표하고 싶다"고 말함.

변경 사항에는 다음이 포함됨:

18세 미만의 미성년자를 위한 모델 변경, 민감하거나 암시적인 콘텐츠를 만날 가능성을 줄이기 위해 설계됨.

이용 약관이나 커뮤니티 가이드라인을 위반하는 사용자 입력에 대한 감지, 응답 및 개입 개선.

모든 채팅에 AI가 실제 사람이 아님을 상기시키는 수정된 면책 조항.

사용자가 플랫폼에서 1시간 세션을 보냈을 때 알림과 추가 사용자 유연성 제공.

"회사는 사용자 안전을 매우 중요하게 생각하며, 우리의 신뢰 및 안전 팀은 지난 6개월 동안 자해 또는 자살 사고를 암시하는 용어에 의해 촉발되는 국가 자살 예방 핫라인으로 사용자를 안내하는 팝업을 포함하여 수많은 새로운 안전 조치를 시행했다"고 해리슨은 말함. 구글은 The Verge의 요청에 즉시 응답하지 않음.