아동 성적 학대 이미지를 생성하는 인공지능 도구가 공개 웹에서 점점 더 많이 발생하고 있으며 '임계점'에 도달하고 있다고 안전 감시 기관이 밝혔다.
인터넷 감시 재단(IWF)은 지난 6개월 동안 온라인에서 본 AI 제작 불법 콘텐츠의 양이 이미 지난해 총량을 초과했다고 전했다.
영국 핫라인을 운영하는 이 기관은 전 세계적으로도 활동하고 있으며, 거의 모든 콘텐츠가 다크 웹이 아닌 공개적으로 이용 가능한 인터넷 영역에서 발견되었다고 말했다.
IWF의 임시 CEO인 데릭 레이-힐은 이미지의 정교함 수준이 사용된 AI 도구가 실제 피해자의 이미지와 비디오로 훈련되었음을 나타낸다고 말했다. "최근 몇 달은 이 문제가 사라지지 않고 오히려 악화되고 있음을 보여준다"고 그는 말했다.
IWF의 한 분석가는 AI 생성 콘텐츠의 상황이 안전 감시 기관과 당국이 실제 아동이 도움을 필요로 하는 이미지를 구별할 수 없는 '임계점'에 도달하고 있다고 말했다.
IWF는 올해 9월까지 6개월 동안 영국 법을 위반할 정도로 현실감 있는 AI 생성 아동 성적 학대 자료(CSAM)에 대한 74건의 신고를 처리했으며, 이는 3월까지의 12개월 동안의 70건과 비교된다. 하나의 신고는 여러 이미지를 포함하는 웹페이지를 지칭할 수 있다.
AI 이미지 외에도 IWF가 본 자료의 유형에는 성인 포르노가 조작되어 CSAM처럼 보이게 한 '딥페이크' 비디오가 포함된다. 이전 보고서에서 IWF는 AI가 유명인을 '어린이'로 묘사하는 성적 학대 시나리오에 사용되고 있다고 언급했다. 다른 CSAM의 예로는 AI 도구를 사용하여 온라인에서 발견된 옷을 입은 아동의 사진을 '누디파이'한 자료가 있다.
IWF가 지난 6개월 동안 플래그한 AI 생성 콘텐츠의 절반 이상은 러시아와 미국의 서버에 호스팅되고 있으며, 일본과 네덜란드도 상당량을 호스팅하고 있다. 이러한 이미지를 포함하는 웹페이지의 주소는 IWF의 URL 목록에 업로드되어 기술 산업과 공유되어 차단되고 접근할 수 없도록 한다.
IWF는 불법 AI 제작 이미지의 80%가 포럼이나 AI 갤러리와 같은 공개 사이트에서 발견된 일반 대중의 신고에서 비롯되었다고 말했다.
한편, 인스타그램은 사용자가 범죄자에게 친밀한 이미지를 보내도록 속아 넘어가고, 이후 협박을 받는 '섹스토션'에 대응하기 위한 새로운 조치를 발표했다.
이 플랫폼은 사용자가 직접 메시지로 받은 누드 이미지를 흐리게 처리하는 기능을 도입할 예정이며, 누드 이미지가 포함된 직접 메시지를 보내는 것에 대해 주의할 것을 권장하고 있다. 흐리게 처리된 이미지를 받은 사용자는 이를 볼지 여부를 선택할 수 있으며, 발신자를 차단하고 인스타그램에 채팅을 신고할 수 있는 옵션이 있다는 메시지를 받게 된다.
이 기능은 이번 주부터 전 세계적으로 10대 계정에 기본적으로 활성화되며, 암호화된 메시지에서도 사용할 수 있지만, '장치 내 탐지' 기능으로 플래그된 이미지는 플랫폼이나 당국에 자동으로 통지되지 않는다.
)
