구글이 AI로 생성된 텍스트에 워터마크를 추가하고 탐지할 수 있도록 설계된 새로운 도구인 SynthID Text의 세부 정보를 공개했음. 이 도구는 오픈 소스로 출시됨.
Hugging Face를 통해 제공되며, 개발자와 기업은 이제 AI로 생성된 텍스트에 워터마크를 삽입하여 genAI 모델로 생성된 콘텐츠를 쉽게 식별할 수 있게 됨.
회사는 이 새로운 도구가 잘못된 정보의 유포를 방지하고 적절한 출처 표기를 보장하는 데 도움이 될 것이라고 기대하고 있음.
SynthID Text는 AI로 생성된 텍스트의 기본 구성 요소인 토큰의 분포를 변경하여 작동함. 기존 AI 모델은 확률에 따라 텍스트를 생성하며, 다음에 올 단어를 추측함. SynthID Text는 특정 단어가 선택될 가능성을 변경하여 나중에 식별할 수 있는 특정 워터마크 패턴을 생성함.
구글은 이 도구가 텍스트가 약간 바뀌거나 패러프레이즈된 후에도 여전히 작동할 수 있다고 주장하지만, 몇 가지 한계도 인정함. 예를 들어, 짧은 텍스트, 번역 및 변형의 여지가 적은 사실적 응답은 SynthID Text의 효과를 제한할 수 있음. 회사는 또한 응답을 철저히 다시 작성하면 탐지기 신뢰 점수가 "상당히 감소"할 수 있다고 언급함.
SynthID Text는 올해 초부터 Gemini에 통합되었지만, 구글만 AI 분야의 플레이어는 아님. Gemini와 경쟁하는 ChatGPT를 만드는 OpenAI는 자사의 경쟁 도구를 사용하고 싶어하지 않을 가능성이 높음. 대신, 자사의 워터마킹 기술을 탐색하고 있음.
더욱이, AI로 생성된 콘텐츠가 인터넷에서 더 널리 퍼짐에 따라 이러한 다양한 시스템이 미래에 어떻게 상호작용할지, 하나의 시스템이 산업 표준으로 자리 잡을지, 아니면 법적 프레임워크가 그 사용을 강제할지 불확실함.
