프랑스 스타트업 Mistral AI가 콘텐츠 모더레이션을 위한 새로운 API를 출시함.
이 API는 어제(11월 7일) 출시되었으며, 파리 기반의 챗봇 서비스인 Le Chat의 모더레이션 서비스를 지원하는 동일한 API임. 이 API는 Ministral 8B라는 세밀하게 조정된 모델에 의해 구동됨.
이 모델은 텍스트를 아홉 가지 카테고리 중 하나로 분류하도록 훈련됨: 성적, 증오 및 차별, 폭력 및 위협, 건강, 재정, 법률, 위험 및 범죄 콘텐츠, 자해, 개인 식별 정보.
“Mistral AI는 이 모델이 본래 다국어 지원이 가능하며, 특히 아랍어, 중국어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어로 훈련되었다고 설명함.
“콘텐츠 모더레이션 분류기는 효과적인 가드레일을 위한 가장 관련성 높은 정책 카테고리를 활용하며, 모델 생성 피해를 해결하는 실용적인 접근 방식을 도입함.”
Mistral AI는 구글의 DeepMind와 메타의 전 연구원들에 의해 설립되었으며, 최근 몇 달 동안 빠른 성장을 보여줌. 6월에는 6억 유로의 자본 및 부채 자금을 조달하여 58억 유로의 가치를 평가받음.
이 스타트업은 자사의 모더레이션 모델이 매우 정확하다고 주장하지만, 현재 진행 중인 작업이라고도 언급함.
“우리는 고객과 협력하여 확장 가능하고 경량화된 맞춤형 모더레이션 도구를 구축하고 공유하고 있으며, 연구 커뮤니티와 계속 협력하여 더 넓은 분야에 안전 발전에 기여할 것임.”
콘텐츠 모더레이션은 기술 및 소셜 미디어 기업들에게 점점 더 중요한 문제로 떠오르고 있음. 이번 주 초, 인기 비디오 게임 플랫폼 Roblox는 플랫폼에서 아동을 보호하기 위한 새로운 조치를 발표함.
프랑스에서는 소셜 미디어 사이트 Telegram의 CEO이자 공동 창립자인 Pavel Durov가 콘텐츠 모더레이션과 관련하여 8월에 체포됨. Telegram은 당시 Durov가 “숨길 것이 없다”고 주장하며 앱이 규정에 따라 운영된다고 응답함.
하지만 모더레이션 정책을 방어하면서도, 이 앱은 9월에 FAQ 페이지를 조용히 업데이트하고 개인 채팅을 모더레이션으로부터 보호하는 언어를 제거하기 시작함.
