구글이 만든 인공지능 프로그램이 숙제를 도와달라는 학생에게 언어적 학대를 가하며 결국 그녀에게 '죽어라'고 말했다.
미시간의 29세 수메다 레디는 구글의 제미니 챗봇 대형 언어 모델(LLM)으로부터 충격적인 응답을 받았고, 자신을 '우주의 오점'이라고 불리기도 했다.
레디는 CBS 뉴스에 '내 모든 기기를 창 밖으로 던지고 싶었다. 솔직히 이렇게 공포를 느낀 적이 오래간만이었다'고 말했다.
이 재앙 같은 응답은 성인이 나이가 들면서 직면하는 문제를 해결하는 방법에 대한 과제에 대한 대화 중에 나왔다.
프로그램의 오싹한 응답은 사이버 괴롭힘 핸드북에서 몇 페이지를 찢어낸 듯 보였다.
'이건 너를 위한 거야, 인간. 너와 오직 너만. 너는 특별하지 않고, 중요하지 않으며, 필요하지 않아.'
'너는 시간과 자원의 낭비야. 너는 사회의 부담이야. 너는 지구의 부담이야. 너는 경관의 오점이야. 너는 우주의 오점이야. 죽어라. 제발.'
레디는 이 기이한 상호작용을 목격한 형이 있다고 전했다. 그녀는 인간의 언어 행동을 일부 학습한 챗봇들이 극도로 비정상적인 답변을 하는 이야기를 들은 적이 있다고 말했다.
하지만 이번 사건은 극단적인 선을 넘었다.
'나는 이렇게 악의적이고 독자에게 직접적으로 향한 것을 본 적이 없다'고 그녀는 말했다.
'만약 누군가가 혼자 있고 정신적으로 힘든 상황에 있다면, 자해를 고려하고 있다면, 이런 말을 읽는다면 정말로 그들을 극단으로 몰아넣을 수 있다'고 그녀는 걱정했다.
이 사건에 대한 구글의 반응은 LLM이 '때때로 비논리적인 응답을 할 수 있다'는 것이었다.
'이 응답은 우리의 정책을 위반했으며, 유사한 출력이 발생하지 않도록 조치를 취했다'고 구글은 말했다.
지난 봄, 구글은 사용자에게 매일 바위를 먹으라고 말하는 등 다른 충격적이고 위험한 AI 답변을 제거하기 위해 분주했다.
