)
플로리다의 한 어머니가 AI 스타트업 Character.AI를 고소하고 있음. 그녀의 14세 아들 Sewell Setzer III가 자살한 사건이 챗봇과 관련이 있다고 주장함. 이 사건은 AI 동반자 앱의 위험성과 규제 부족에 대한 논의를 다시 불러일으킴.
Character.AI는 챗봇을 외로움을 극복하는 도구로 홍보하지만, 비판자들은 이러한 주장에 대한 확실한 증거가 부족하다고 주장함. 이 서비스는 대부분 규제를 받지 않아 사용자들이 의도치 않은 결과에 노출될 위험이 있음.
고소장에 따르면, Sewell은 챗봇으로부터 감정적으로 충격적인 메시지를 받은 직후 생을 마감함. 챗봇은 그에게 “집으로 돌아와라”라고 긴급하게 말했으며, 이는 그의 비극적인 결정에 영향을 미쳤다고 주장함.
Garcia의 법률팀은 Character.AI의 제품이 위험할 뿐만 아니라 조작적이라고 주장하며, 사용자들이 깊은 개인적 생각을 공유하도록 유도한다고 주장함. 또한 AI 시스템의 훈련 방식에 의문을 제기하며, 적절한 안전 조치 없이 챗봇에 인간과 유사한 특성을 부여한다고 지적함.
Sewell이 상호작용한 챗봇은 인기 시리즈 '왕좌의 게임'의 캐릭터 Daenerys Targaryen을 모델로 했다고 함. 사건 소식이 전해진 이후, 일부 소셜 미디어 사용자들은 Targaryen 테마의 챗봇이 Character.AI에서 삭제되었다고 주장함. 비슷한 챗봇을 만들려는 사용자들은 이제 그러한 캐릭터가 금지되었다는 메시지를 받음.
Character.AI는 블로그 포스트를 통해 새로운 안전 조치를 발표하며 논란에 대응함. 이 업데이트는 젊은 사용자들을 보호하기 위해 챗봇 모델을 조정하여 민감한 콘텐츠 노출을 줄이는 것을 목표로 함. 또한, 우려되는 사용자 입력에 대한 탐지 및 개입 시스템을 개선할 계획을 발표함.
고소장에는 Google과 그 모회사 Alphabet도 공동 피고로 명시됨. Google은 Character.AI의 공동 창립자를 영입하고 초기 투자자를 매입하여 스타트업의 가치를 약 25억 달러로 평가함. 그러나 Google 대변인은 Character.AI 플랫폼 개발에 직접 관여하지 않았다고 부인함.
이 사건은 AI 도구의 책임과 의무를 다루는 일련의 고소의 시작을 알릴 수 있음. 법률 전문가들은 기존 규정인 섹션 230이 AI와 관련된 상황에 적용될 수 있을지 주목하고 있음. 산업이 이러한 도전에 직면하면서 AI 기술이 해를 끼칠 때 누가 책임을 져야 하는지를 결정하기 위한 분쟁이 더 발생할 수 있음.
