잘 다듬어진 젊은 남자가 깔끔한 파란 셔츠를 입고 부드러운 미국 억양으로 말하는 모습은 서아프리카 국가 부르키나파소의 군사 정권 지도자를 지지하는 사람으로는 그리 어울리지 않음.
“우리는 … 이브라힘 트라오레 대통령을 지지해야 합니다 … 조국이냐 죽음이냐 우리는 극복할 것입니다!” 그는 2023년 초 텔레그램에서 퍼지기 시작한 비디오에서 말함. 독재자가 군사 쿠데타로 권력을 잡은 지 몇 달 후의 일.
비슷한 전문적인 외모를 가진 다른 사람들이 부르키나파소 국기 앞에서 같은 대사를 반복하는 비디오가 같은 시기에 등장함.
며칠 후 X의 인증된 계정에서 같은 젊은 남자가 같은 파란 셔츠를 입고 새로운 암호화폐 플랫폼의 CEO인 아치라고 주장함.
이 비디오는 가짜임. 동부 런던에 본사를 둔 스타트업이 개발한 인공지능(AI)으로 생성됨. 이 회사인 신세시아(Synthesia)는 사실적인 AI 비디오를 완벽하게 만들기 위해 경쟁하는 산업에서 화제를 모으고 있음. 투자자들이 자금을 쏟아부어 이 회사를 '유니콘'으로 만들었음 - 10억 달러 이상의 가치를 지닌 비상장 회사에 붙이는 라벨.
신세시아의 기술은 마케팅 자료나 내부 프레젠테이션을 만들고자 하는 고객을 대상으로 하며, 모든 딥페이크는 사용 약관 위반임. 하지만 이는 디지털 '인형' 뒤에 있는 모델들에게는 별로 의미가 없음. 가디언은 그들 중 다섯 명을 추적함.
“충격적임, 지금은 말이 없음. 나는 20년 넘게 [창작] 산업에 있었고 이렇게 침해당하고 취약함을 느낀 적이 없음.” 런던에 기반을 둔 크리에이티브 디렉터인 마크 토레스가 가짜 비디오에서 파란 셔츠를 입고 등장함.
“나는 아무도 나를 그렇게 보길 원하지 않음. 내 이미지가 저기서 어떤 말을 하고 있을지 모른다는 사실이 끔찍함 - 내가 존재조차 몰랐던 나라에서 군사 정권을 지지하는 것처럼 보일 수 있음. 사람들은 내가 쿠데타에 연루되었다고 생각할 것임.” 토레스는 가디언이 처음으로 비디오를 보여준 후 덧붙임.
촬영은 2022년 여름, 코너 예이츠는 새로운 회사의 첫 AI 모델이 될 기회를 제안받음.
예이츠는 그 회사를 들어본 적이 없지만, 런던으로 이사한 지 얼마 되지 않아 친구의 소파에서 자고 있었음. 하루 촬영에 거의 4,000파운드와 3년 동안 이미지 사용권을 제공하는 제안은 “좋은 기회”처럼 느껴졌음.
“나는 대학 때부터 모델로 활동해왔고 그게 내 주 수입이었음. 그런 다음 스탠드업을 시작하기 위해 런던으로 이사했음.” 예이츠는 바스에서 자랐음.
촬영은 신세시아의 스튜디오에서 진행됨. 먼저 헤어와 메이크업을 받음. 30분 후, 그는 작은 팀이 기다리고 있는 녹화실에 들어감.
예이츠는 카메라를 직접 바라보며 대사를 읽도록 요청받고 다양한 의상을 입음: 실험실 가운, 건설용 안전 조끼와 헬멧, 그리고 기업 정장.
“눈앞에 있는 텔레프롬프터에 대사가 있고, 그걸 말해서 제스처를 캡처하고 움직임을 복제할 수 있도록 함. 더 열정적으로, 미소 지으라고, 찡그리라고, 화내라고 말함.” 예이츠가 말함.
전체 촬영은 3시간 걸림. 며칠 후, 그는 계약서와 자신의 AI 아바타 링크를 받음.
“그들은 즉시 지불했음. 나는 부유한 부모가 없고 돈이 필요했음.” 예이츠는 그 후 별로 신경 쓰지 않았음.
토레스처럼 예이츠의 모습도 부르키나파소의 현 지도자를 지지하는 선전에서 사용됨.
신세시아의 대변인은 회사가 2023년에 비디오를 만든 계정을 차단했으며, 콘텐츠 검토 프로세스를 강화하고 “더 많은 콘텐츠 중재자를 고용하고, 우리의 중재 능력과 자동화 시스템을 개선하여 기술 남용을 더 잘 감지하고 방지하고 있다”고 말함.
하지만 토레스나 예이츠는 가디언이 몇 달 전 그들에게 연락하기 전까지 비디오에 대해 알지 못했음.
신세시아는 2017년에 빅터 리파르벨리, 스테펜 티에릴드와 런던 및 뮌헨의 두 학자에 의해 설립됨.
그들은 2018년에 제작 회사들이 AI를 사용하여 자동으로 연기자의 입술을 동기화하고 음성을 번역할 수 있는 더빙 도구를 출시함.
이 기술은 BBC 프로그램에서 영어만 하는 뉴스 진행자가 마치 마법처럼 만다린, 힌디어, 스페인어를 말하는 것처럼 보이게 하는 데 소개됨.
회사가 '유니콘' 지위를 얻은 것은 오늘날의 대량 시장 디지털 아바타 제품으로의 전환 덕분임. 이 제품은 회사나 개인이 몇 분 안에 비디오를 만들 수 있도록 하며, 월 23파운드에 이용 가능함. 다양한 성별, 연령, 민족 및 외모를 가진 수십 개의 캐릭터를 선택할 수 있음. 선택한 디지털 인형은 거의 모든 설정에 배치할 수 있으며, 120개 이상의 언어와 억양으로 대본을 읽을 수 있음.
신세시아는 현재 시장에서 지배적인 점유율을 보유하고 있으며, EY, 줌, 제록스, 마이크로소프트 등을 고객으로 두고 있음.
이 제품의 발전으로 인해 타임지는 9월에 리파르벨리를 AI 분야에서 가장 영향력 있는 100인 중 한 명으로 선정함.
하지만 이 기술은 러시아, 중국 등 적대적인 국가와 관련된 비디오를 만드는 데도 사용됨. 정보 소식통은 가디언에 2023년에 유포된 부르키나파소 비디오가 러시아 국가 행위자에 의해 생성되었을 가능성이 높다고 전함.
부르키나파소 비디오가 온라인에서 퍼지기 시작한 시점에, 두 개의 친베네수엘라 비디오도 신세시아 아바타가 발표한 가짜 뉴스 세그먼트를 포함하여 유튜브와 페이스북에 등장함. 그 중 하나는 흰 셔츠를 입은 금발 남성이 “서방 언론의 주장”을 비난하며, 대신 베네수엘라의 재정 상황에 대한 매우 오해의 소지가 있는 초상을 그려냄.
런던에 기반을 둔 배우이자 신세시아 모델인 댄 듀히스트는 가디언에 “수많은 사람들이 나에게 연락했음 … 하지만 아마도 다른 사람들은 그것을 보고 아무 말도 하지 않았거나 조용히 나를 판단했을 것임. 나는 고객을 잃었을 수도 있음. 하지만 그건 나의 얼굴일 뿐임. 그들이 내가 동의했다고 생각할 것임.”이라고 말함.
“나는 분노했음. 정말로, 정말로 내 정신 건강에 해로웠음. [그것은] 압도적인 불안을 초래했음.”이라고 덧붙임.
신세시아 대변인은 회사가 그들의 모습이 사용된 일부 배우들과 연락을 취했다고 말함. “우리는 당신이 언급한 사람들에게 이러한 역사적 사건들이 개인적 또는 직업적 영향을 미쳤다는 것에 대해 진심으로 유감스럽게 생각합니다.”라고 말함.
하지만 일단 퍼지면, 딥페이크로 인한 피해는 되돌리기 어려움.
듀히스트는 자신의 얼굴이 선전을 퍼뜨리는 데 사용된 것을 보는 것이 최악의 시나리오라고 말하며, “우리의 뇌는 걱정할 때 종종 재앙을 상상함. 하지만 실제로 그 걱정이 실현되는 것을 보는 것은 … 끔찍했음.”이라고 덧붙임.
작년, 미국에서 10만 명 이상의 조합원 배우와 공연자들이 AI의 사용에 반대하며 파업을 벌였음. 스튜디오가 디지털 복제 전에 정보 제공 동의와 공정한 보상을 포함한 계약의 안전 장치에 동의한 후, 파업은 지난해 11월에 종료됨. 비디오 게임 공연자들은 여전히 같은 문제로 파업 중임.
지난달, 미국에서 NO FAKES 법안이 양당의 지지를 받아 도입되었으며, 이는 디지털 복제와 관련된 위반에 대해 회사와 개인이 손해에 대해 책임을 지도록 하는 것을 목표로 함.
하지만 AI 생성 성적 콘텐츠 외에는 아티스트들에 대한 실질적인 구제 수단이 거의 없음.
“이 AI 회사들은 사람들을 정말 위험한 롤러코스터에 초대하고 있음.”이라고 런던에 기반을 둔 미디어 및 엔터테인먼트 변호사인 켈시 패리시가 말함. “그리고 guess what? 사람들은 계속해서 이 롤러코스터를 타고 있으며, 이제 사람들은 다치기 시작하고 있음.”
GDPR에 따라 모델들은 기술을 제거하도록 신세시아에 요청할 수 있지만, 실제로는 매우 어려움.
익명을 원하는 전 신세시아 직원은 AI가 모델의 몸짓에서 얻은 것을 “잊어버리거나” 삭제할 수 없다고 설명함. 그렇게 하려면 전체 AI 모델을 교체해야 함.
신세시아 대변인은 “우리가 함께 작업하는 많은 배우들이 새로운 촬영을 위해 다시 참여하고 있습니다 … 협력 시작 시, 우리는 서비스 약관과 기술 작동 방식을 설명하여 플랫폼이 할 수 있는 것과 우리가 마련한 안전 장치에 대해 인지하도록 합니다.”라고 말함.
그는 회사가 “정치적 콘텐츠, 사실적으로 정확하지만 분열을 초래할 수 있는 콘텐츠에 대한 스톡 아바타 사용을 허용하지 않는다”고 말하며, “조작, 기만적 관행, 사칭 및 잘못된 연관성을 방지하기 위해 설계된 정책”이라고 덧붙임.
“우리의 프로세스와 시스템이 완벽하지 않을 수 있지만, 우리의 창립자들은 지속적으로 개선하기 위해 헌신하고 있습니다.”
가디언이 신세시아의 기술을 사용하여 다양한 허위 정보 스크립트를 테스트했을 때, 비록 그들의 아바타 사용을 차단했지만, 개인적으로 생성한 아바타로 부르키나파소 선전 비디오를 재현하고 다운로드하는 것은 가능했음. 이는 신세시아의 정책에 따라 허용되지 않아야 함. 신세시아는 개인의 정치적 입장을 표현할 권리를 존중한다고 말했지만, 이후 계정을 차단했음.
가디언은 또한 “하일 히틀러”라는 말을 여러 언어로 말하는 오디오 전용 아바타에서 클립을 생성하고 다운로드할 수 있었으며, 또 다른 오디오 클립은 미국 억양으로 “카말라 해리스가 선거를 조작했다”고 말함.
신세시아는 가디언에 연락을 받은 후 무료 AI 오디오 서비스를 중단했으며, 이 제품의 기술은 제3자 서비스라고 말함.
자신의 모습이 선전 비디오에 사용되었다는 사실을 알게 된 토레스는 깊은 배신감을 느끼고 있음: “내 이미지를 신뢰했던 이 회사가 그런 일을 저질렀다는 것을 아는 것은 나를 매우 화나게 함. 이것은 생명을 위협할 수 있으며, 이민을 위해 국경을 넘을 때 내 생명에 영향을 미칠 수 있음.”
토레스는 올해 신세시아의 또 다른 촬영에 초대받았지만 거절함. 그의 계약은 몇 달 후에 종료되며, 그의 신세시아 아바타는 삭제될 것임. 하지만 부르키나파소 비디오에서 그의 아바타가 어떻게 될지는 그에게도 불확실함.
“이제 그들에게 얼굴을 제공하는 것이 얼마나 위험한지 깨달음. 우리가 이 일의 일부가 된 것이 안타까움.”이라고 말함.
유튜브는 이후 듀히스트가 등장한 선전 비디오를 삭제했지만, 페이스북에서는 여전히 이용 가능함.
토레스와 예이츠는 여전히 신세시아의 비디오 광고의 첫 페이지에 남아 있음.
