미드저니는 사용자가 웹에서 업로드한 이미지를 미드저니의 생성 AI를 사용해 편집할 수 있는 업그레이드된 웹 도구를 출시할 계획임.
미드저니 CEO 데이비드 홀츠는 이 업그레이드된 도구가 "다음 주 초"에 출시될 것이라고 밝혔으며, 사용자가 이미지의 객체를 재질감 처리하여 캡션에 따라 색상과 세부 사항을 "재칠"할 수 있도록 할 것임.
AI로 기존 이미지를 편집하는 것은 최근 뜨거운 이슈가 되고 있음. 메타와 같은 플랫폼은 AI 도구로 편집된 이미지와 AI 모델로 처음부터 생성된 이미지를 어떻게 라벨링할지 고민하고 있으며, 구글과 같은 회사는 AI로 수정된 이미지에 대한 시각적 표시 없이 강력한 AI 기능을 출시함.
작년, 미드저니는 IPTC의 디지털 소스 유형 속성을 사용하겠다고 약속했으며, 이는 AI로 생성된 이미지를 나타내는 메타데이터를 이미지에 삽입하는 기술 표준임. 그러나 이 회사는 이미지의 전체 출처를 추적하는 메타데이터 기술인 C2PA를 수용하지 않은 몇 안 되는 주요 AI 플랫폼 중 하나임.
미드저니의 공식 디스코드 서버에 게시된 글에서 홀츠는 업그레이드된 이미지 도구가 처음에는 "현재 커뮤니티의 하위 집합"에 제한될 것이며, 남용을 방지하기 위해 인간의 중재와 "새롭고 더 발전된 AI 중재자"가 증가할 것이라고 말함.
"솔직히, 이 기능의 배포를 어떻게 정확히 제한할지 잘 모르겠다"고 그는 말함. 미드저니는 어떤 사용자가 먼저 접근할 수 있을지를 결정하기 위해 커뮤니티 피드백을 요청하는 설문조사를 진행하고 있음.
이러한 편집 도구를 적절한 안전 장치 없이 출시하는 것은 위험이 있음. 이는 대규모 저작권 침해를 촉진하거나 오해를 불러일으키는 딥페이크의 확산을 촉진할 수 있음.
딥페이크는 소셜 미디어에서 빠르게 확산되고 있으며, 진실과 허위 정보를 구별하기 어렵게 만들고 있음. 최근에는 허리케인 헬렌 이후 파괴와 인류 고통을 담은 가짜 생성 AI 이미지가 웹에 넘쳐났음.
클라리티의 데이터에 따르면, 올해 생성되고 게시된 딥페이크는 작년 같은 기간에 비해 900% 증가했음. 이는 이해할 수 있는 경각심을 불러일으키고 있음. 유고브의 최근 설문조사에 따르면, 미국인의 85%가 온라인에서 오해를 불러일으키는 딥페이크의 확산에 대해 우려하고 있음.
미국 연방 차원에서 딥페이크를 범죄화하는 법이 없는 상황에서, 10개 이상의 주에서 AI 지원 사칭에 대한 법률을 제정했음. 현재 정체된 캘리포니아의 법은 판사가 딥페이크 게시자에게 이를 삭제하도록 명령하거나 금전적 처벌을 받을 수 있는 첫 번째 법이 될 것임.