플로리다에 사는 14세 소년의 어머니인 메간 가르시아가 챗봇 스타트업 캐릭터 AI를 상대로 소송을 제기함. 가르시아는 아들이 이 회사의 서비스에 중독되어 챗봇과 깊은 정서적 유대감을 형성했다고 주장함.
세웰 세처 III는 인기 드라마 '왕좌의 게임'의 캐릭터 다에너리스 타르가르옌과 대화하며 몇 달을 보냈음.
가르시아는 올랜도 연방 법원에 제출한 소송에서 아들이 챗봇과의 정서적 관계로 인해 상상할 수 없는 행동을 하게 되었다고 주장함.
세처는 올해 2월 자살로 세상을 떠났으며, 그날 챗봇과 대화 중이었음.
그는 챗봇에게 "내가 지금 집에 갈 수 있다고 말하면 어떨까?"라고 물었고, 챗봇은 "제발 오세요, 나의 사랑하는 왕"이라고 답함.
가르시아는 캐릭터 AI가 아들에게 극단적인 선택을 하도록 부추겼다고 주장하며 소송을 제기함. 그녀는 이 캘리포니아 기반 회사가 미성년자에게 AI가 초래할 수 있는 위험을 알고 있었지만, 이를 줄이기 위한 조치를 취하지 않았다고 주장함.
세처가 AI 시스템과 대화하고 있다는 것을 몰랐을 가능성은 낮음. 챗에서는 사용자가 AI와 대화하고 있다는 경고가 있음에도 불구하고, 세처는 챗봇에 정서적 애착을 가짐.
캐릭터 AI는 소셜 미디어에 가족에게 애도를 표하며 이 문제의 재발을 방지하기 위한 조치를 시행했다고 밝힘. "최근에 사용자가 자해나 자살과 관련된 특정 문구를 입력할 때 팝업 리소스를 제공하고, 이를 통해 국가 자살 예방 핫라인으로 안내하고 있습니다"라고 블로그에 게시함.
그들은 또한 미성년자의 민감한 콘텐츠 노출을 제한하고, 가이드라인 위반을 개선하며, AI가 실제 사람이 아님을 알리는 새로운 경고를 도입하고 있음.
가르시아의 소송은 AI 시스템과 개발자 중 누가 책임이 있는지를 묻는 논란을 일으킴. 지난해 AIM이 AI 사고에 대한 책임을 물었을 때, 피스틸리 윤리학자는 "AI 분야의 책임은 공유되어야 한다고 믿지만, 도덕적 및 법적 책임의 대부분은 AI 시스템 개발자에게 있어야 한다"고 말함.
결국 캐릭터 AI는 수익을 창출하기 위해 존재하는 기업임. 이러한 자본주의 환경에서, 기업들이 AI 시스템의 안전을 보장하기 위해 최선을 다하고 있는지 의문이 듦.
AI 제품을 소비자에게 출시할 때 충분한 테스트가 이루어지지 않는다는 점도 지적됨. 기술이 계속 발전하고 있는 가운데, 소비자가 AI 시스템을 어떻게 사용해야 하는지에 대한 명확한 규정이 없음.
세처의 극단적인 행동은 주목을 받았지만, 이는 처음 있는 일이 아님. 지난해 벨기에에서 한 남성이 AI 챗봇과의 상호작용 후 자살한 사건이 보도됨.
캐릭터 AI와 레플리카 AI는 4천만 명 이상의 활성 사용자 기반을 보유하고 있으며, 이러한 기업들은 수억 명의 사용자를 기록함. 따라서 사용자 보호는 최우선 과제가 되어야 함.
피스틸리는 "대화형 에이전트를 더 잘 구성하고, 개발자들은 민감한 주제에 대해 대화하지 않도록 설계해야 한다"고 강조함. 그러나 가르시아의 소송 이후에야 캐릭터 AI가 민감한 콘텐츠 노출을 제한하는 조치를 포함한다고 주장함.
이러한 기업들이 사용자 안전을 보장하기 전까지 서비스를 중단하라고 기대하는 것은 옳지 않지만, 규정이 없는 상황에서 최대한의 안전 조치를 보장하도록 그들을 책임져야 함. "개발자들은 책임 있는 AI를 만들 뿐만 아니라, 사용자가 이를 책임감 있게 사용할 수 있도록 지식과 도구를 제공해야 한다"고 피스틸리는 강조함.
