4년 전 딥페이크 전문가 헨리 아저가 텔레그램 봇이 인공지능을 사용해 여성의 사진을 "벗기는" 기능을 설계했다는 사실을 발견한 이후, 그 위협은 더욱 커졌다.
새로운 연구에 따르면 현재 최소 50개의 이러한 봇이 플랫폼에서 활동 중이며, 이들은 총 400만 명 이상의 "월간 사용자"를 보유하고 있다.
이 도구들은 실제 사람의 누드 이미지를 생성하는 데 사용되고 있다. 일부 봇은 몇 번의 클릭으로 사진을 편집하도록 프로그래밍되어 있어, 사용자가 옷을 벗기거나 심지어 성행위를 하는 이미지를 생성할 수 있도록 돕는다.
WIRED의 분석에 따르면, 노골적인 콘텐츠에 참여하는 텔레그램 커뮤니티에서 최소 두 개의 봇은 40만 명 이상의 월간 사용자를 보유하고 있으며, 다른 14개 봇은 10만 명 이상의 구독자를 보유하고 있다. 아저는 이 상황을 "악몽 같은" 상황으로 묘사하며, 이러한 도구가 특히 소녀들에게 미치는 해악을 강조했다.
이 봇들은 주로 젊은 소녀와 여성을 착취하는 데 사용되며, 성적 착취로 이어진다. 최근 민주주의 및 기술 센터의 조사 보고서에 따르면, 미국의 학생들 중 40%가 학습 기관에서 딥페이크에 노출되었다고 주장했다. 이러한 도구의 접근성이 높아짐에 따라, 더 많은 사람들이 이러한 도구를 잘못 사용하게 되어, 도구의 반대편에 있는 사람에게 극심한 불편과 고통을 초래하고 있다.
비동의 친밀한 이미지(NCIIs)를 생성하고 공유하는 것은 피해자에게 심각한 심리적 해를 끼칠 수 있다. 영국 최대의 가정 폭력 단체인 Refuge의 엠마 피커링은 WIRED에 이러한 이미지가 수치심, 두려움, 수치심과 같은 감정을 유발하여 정신적 웰빙에 큰 영향을 미친다고 설명했다. 이러한 상황은 가해자에게 어떤 처벌도 없다는 사실로 인해 더욱 악화된다.
이러한 기술을 통제하는 방법에 대한 논의와 토론이 계속되고 있지만, 이를 관리하는 정확한 수단은 아직 보이지 않는다. 미국의 딥페이크 책임법과 같은 일부 법안이 제안되었지만, 이러한 조치들은 이러한 봇의 사용을 제한하는 문제를 효과적으로 해결하지 못하는 것 같다.
텔레그램의 반응은 불충분하다는 평가를 받고 있다. 일부 봇은 언론 보도 이후 삭제되었지만, 새로운 봇이 거의 즉시 등장했다.