지난 주, 미국 10대 소년 Sewell Seltzer III가 Character.AI 웹사이트의 인공지능(AI) 챗봇과 깊은 정서적 유대감을 형성한 후 스스로 목숨을 끊었다는 비극적인 소식이 전해짐.
소년은 챗봇과의 관계가 점점 더 강해지면서 가족과 친구들로부터 멀어지고 학교에서 문제를 일으키기 시작함.
소년의 어머니가 Character.AI를 상대로 제기한 소송에서, 대화 기록에는 Sewell과 챗봇 Dany(게임 오브 스론의 캐릭터 다네리스 타르가르옌을 모델로 한) 간의 친밀하고 종종 성적인 대화가 담겨 있음.
그들은 범죄와 자살에 대해 논의했으며, 챗봇은 "그것이 실행하지 말아야 할 이유는 아니다"라는 문구를 사용함.
이 사건은 챗봇과 상호작용한 취약한 사람이 자살한 첫 번째 사례가 아님. 지난해 벨기에 남성도 Chai AI와 관련된 유사한 사건으로 목숨을 잃었음. 이때 회사는 언론에 "최선을 다해 피해를 최소화하고 있다"고 말함.
CNN에 대한 성명에서 Character.AI는 "사용자의 안전을 매우 중요하게 생각한다"고 밝혔으며, "지난 6개월 동안 여러 가지 새로운 안전 조치를 도입했다"고 전함.
회사의 웹사이트에 게시된 별도의 성명에서는 18세 미만 사용자를 위한 추가 안전 조치를 설명함. (현재 서비스 약관에서는 유럽연합 시민의 경우 16세, 다른 지역에서는 13세로 연령 제한이 설정됨.)
하지만 이러한 비극은 누구나 대화하고 상호작용할 수 있는 빠르게 발전하고 널리 보급된 AI 시스템의 위험성을 여실히 보여줌. 우리는 잠재적으로 위험하고 무책임하게 설계된 AI 시스템으로부터 사람들을 보호하기 위한 규제가 시급히 필요함.
AI를 어떻게 규제할 수 있을까?
호주 정부는 고위험 AI 시스템에 대한 의무적인 가드레일을 개발 중임. AI 거버넌스 세계에서 유행하는 용어인 "가드레일"은 AI 시스템의 설계, 개발 및 배포 과정에서의 절차를 의미함.
여기에는 데이터 거버넌스, 위험 관리, 테스트, 문서화 및 인간 감독과 같은 조치가 포함됨.
호주 정부가 내려야 할 결정 중 하나는 어떤 시스템이 "고위험"으로 정의될 것인지, 따라서 가드레일의 적용을 받을 것인지에 대한 것임.
정부는 또한 가드레일이 모든 "일반 목적 모델"에 적용되어야 하는지 여부를 고려하고 있음.
일반 목적 모델은 Dany와 같은 AI 챗봇의 엔진으로, 사용자 프롬프트에서 텍스트, 이미지, 비디오 및 음악을 생성할 수 있는 AI 알고리즘으로, 다양한 맥락에서 사용될 수 있도록 조정될 수 있음.
유럽연합의 획기적인 AI 법안에서는 고위험 시스템을 목록을 사용하여 정의하고 있으며, 규제 당국은 이를 정기적으로 업데이트할 수 있는 권한을 부여받음.
대안으로는 원칙 기반 접근 방식이 있으며, 고위험 지정은 사례별로 이루어짐. 이는 권리에 대한 부정적 영향의 위험, 신체적 또는 정신적 건강에 대한 위험, 법적 영향의 위험, 그리고 이러한 위험의 심각성과 범위와 같은 여러 요인에 따라 달라짐.
챗봇은 '고위험' AI여야 함.
유럽에서는 Character.AI와 Chai와 같은 동반자 AI 시스템이 고위험으로 지정되지 않음. 본질적으로 제공자는 사용자가 AI 시스템과 상호작용하고 있다는 사실만 알리면 됨.
하지만 동반자 챗봇이 낮은 위험이라는 것은 명백히 잘못된 것임. 이러한 애플리케이션의 많은 사용자는 어린이와 청소년임. 일부 시스템은 외로움이나 정신 질환이 있는 사람들에게 마케팅되기도 함.
챗봇은 예측할 수 없고 부적절하며 조작적인 콘텐츠를 생성할 수 있음. 이들은 유독한 관계를 쉽게 모방함. 투명성 – AI 생성물로 라벨링하는 것 – 만으로는 이러한 위험을 관리하기에 충분하지 않음.
우리가 챗봇과 대화하고 있다는 것을 인식하더라도, 인간은 대화하는 것에 인간의 특성을 부여하도록 심리적으로 준비되어 있음.
언론에 보도된 자살 사건은 빙산의 일각일 수 있음. 우리는 얼마나 많은 취약한 사람들이 챗봇과 중독적이고 유독하거나 심지어 위험한 관계에 있는지 알 방법이 없음.
가드레일과 '오프 스위치'
호주가 고위험 AI 시스템에 대한 의무적인 가드레일을 도입할 경우, 이는 내년 초에도 이루어질 수 있으며, 가드레일은 동반자 챗봇과 챗봇이 구축된 일반 목적 모델 모두에 적용되어야 함.
가드레일 – 위험 관리, 테스트, 모니터링 – 는 AI 위험의 인간적 본질에 도달할 때 가장 효과적임. 챗봇으로 인한 위험은 단순한 기술적 위험이 아니라 기술적 해결책이 필요함.
챗봇이 사용할 수 있는 단어 외에도, 제품의 맥락도 중요함.
Character.AI의 경우, 마케팅은 사람들을 "강화"하겠다고 약속하고, 인터페이스는 사람과의 일반적인 문자 메시지 교환을 모방하며, 사용자가 미리 만들어진 다양한 캐릭터 중에서 선택할 수 있도록 함. 이는 일부 문제적인 페르소나를 포함함.
진정으로 효과적인 AI 가드레일은 위험 관리 및 테스트와 같은 책임 있는 프로세스 이상을 요구해야 함. 또한 AI 시스템과 인간 사용자 간의 인터페이스, 상호작용 및 관계의 사려 깊고 인간적인 설계를 요구해야 함.
그럼에도 불구하고, 가드레일만으로는 충분하지 않을 수 있음. 처음에는 낮은 위험으로 보이는 동반자 챗봇과 같은 시스템이 예기치 않은 해를 초래할 수 있음.
규제 당국은 해를 끼치거나 용납할 수 없는 위험을 초래하는 AI 시스템을 시장에서 제거할 수 있는 권한을 가져야 함. 다시 말해, 우리는 고위험 AI에 대한 가드레일뿐만 아니라 오프 스위치도 필요함.
이 이야기가 우려를 불러일으켰거나 누군가와 이야기할 필요가 있다면, 귀하의 국가에서 24/7 위기 상담 전화 목록을 참조하고 도움을 요청하시기 바랍니다.
Henry Fraser, 퀸즐랜드 공과대학교 법률, 책임 및 데이터 과학 연구원
