고등학교 여학생들의 AI 생성 누드 이미지가 스페인 남부의 한 지역사회를 뒤흔든 지 거의 1년이 지났다. 올 여름, 한 소년법원은 그들의 동급생 15명에게 1년의 보호관찰을 선고했다.
하지만 해로운 딥페이크를 생성하는 인공지능 도구는 여전히 인터넷에서 쉽게 접근할 수 있으며, 웹사이트에 업로드된 사진을 몇 초 만에 "벗길" 수 있다고 약속하고 있다.
이제 캘리포니아에서 이러한 앱과 유사한 것들을 차단하기 위한 새로운 노력이 진행되고 있으며, 샌프란시스코는 이번 주에 전문가들이 선례를 만들 수 있다고 말하는 최초의 소송을 제기했다. 그러나 이 소송은 많은 장애물에 직면할 것이다.
샌프란시스코의 시 변호사 데이비드 추는 "이 이미지의 확산은 전 세계의 많은 여성과 소녀를 착취했다"고 말했다. "이 이미지는 여성과 소녀를 괴롭히고, 굴욕감을 주며, 위협하는 데 사용된다. 피해자에게 미치는 영향은 그들의 명성, 정신 건강, 자율성 상실에 치명적이며, 어떤 경우에는 자살로 이어지기도 한다."
캘리포니아 주민들을 대신해 제기된 이 소송은 서비스가 사기성 사업 관행, 비동의 포르노 및 아동 성적 학대에 대한 수많은 주 법률을 위반했다고 주장한다. 그러나 이러한 앱을 운영하는 사람을 파악하기는 어려운 상황이다. 이 앱들은 전화 앱 스토어에서는 사용할 수 없지만 여전히 인터넷에서 쉽게 찾을 수 있다.
작년 말 AP와 연락한 한 서비스는 이메일로 "우리 CEO는 미국 전역에서 활동하고 있다"고 주장했지만, 증거를 제공하거나 다른 질문에 답변하지 않았다. AP는 이 소송에서 언급된 특정 앱의 이름을 밝히지 않기로 했다.
"현재로서는 이러한 운영자가 누구인지, 어디서 운영되고 있는지 정확히 알 수 없는 사이트가 많다. 하지만 우리는 조사 도구와 소환장 권한을 가지고 있다"고 추는 말했다. "그리고 우리는 이 소송 과정에서 우리의 권한을 확실히 활용할 것이다."
많은 도구가 동의 없이 성인 여성의 옷을 벗기는 현실적인 가짜 이미지를 만드는 데 사용되고 있다. 그러나 이들은 전 세계 학교에서도 나타나고 있으며, 호주에서부터 캘리포니아의 베벌리 힐스까지, 주로 남학생들이 여학생의 이미지를 만들어 소셜 미디어를 통해 퍼뜨리고 있다.
지난 9월 스페인 알멘드랄레호에서 널리 보도된 첫 번째 사건 중 하나에서, 피해자의 어머니인 의사는 동급생들이 직면한 판결의 중형에 만족한다고 말했다.
하지만 이는 "사회, 교육, 부모와 학교의 책임뿐만 아니라, 이러한 쓰레기로부터 이익을 얻는 디지털 거대 기업들의 책임이기도 하다"고 미리암 알 아디브 멘디리 박사는 금요일 인터뷰에서 말했다.
그녀는 샌프란시스코의 조치를 칭찬했지만, 메타 플랫폼과 그 자회사인 왓츠앱과 같은 더 큰 기업들의 노력이 필요하다고 덧붙였다. 이들은 스페인에서 이미지를 퍼뜨리는 데 사용되었다.
학교와 법 집행 기관은 딥페이크를 만들고 공유하는 사람들을 처벌하려고 했지만, 당국은 도구 자체에 대해 어떻게 대처해야 할지 어려움을 겪고 있다.
1월, 유럽연합 집행부는 스페인 유럽 의회 의원에게 보낸 서한에서 알멘드랄레호에서 사용된 앱이 블록의 온라인 안전을 강화하기 위한 새로운 규칙에 해당하지 않는다고 설명했다. 이는 플랫폼이 충분히 크지 않기 때문이다.
AI 생성 아동 성적 학대 자료의 증가를 추적해온 단체들은 샌프란시스코 사건을 면밀히 지켜볼 것이다.
이 소송은 이 분야에서 법적 선례를 만들 가능성이 있다고 아동 성적 착취 방지 단체인 쏜의 정책 이사 에밀리 슬리퍼가 말했다.
스탠포드 대학교의 한 연구자는 많은 피고들이 미국 외부에 기반을 두고 있기 때문에 그들을 정의하는 것이 더 어려울 것이라고 말했다.
추는 "이 사건에서 힘든 싸움을 해야 하지만, 피고들이 소송을 무시할 경우 일부 사이트를 오프라인으로 전환할 수 있을 것"이라고 스탠포드의 리아나 페퍼콘이 말했다. "그럴 경우, 도시가 결석으로 승소하고 도메인 이름 등록자, 웹 호스트 및 결제 처리업체에 영향을 미치는 명령을 얻을 수 있다. 이는 소유자가 소송에 나타나지 않더라도 해당 사이트를 사실상 폐쇄할 수 있다."
