/cdn.vox-cdn.com/uploads/chorus_asset/file/24390468/STK149_AI_Chatbot_K_Radtke.jpg)
몇 달 전, 내 의사가 환자 회의를 기록하고 요약하기 위해 사용한 AI 전사 도구를 자랑했음.
내 경우 요약은 괜찮았지만, ABC 뉴스에 인용된 연구자들은 OpenAI의 Whisper가 구동하는 도구가 많은 병원에서 사용되고 있으며, 때때로 완전히 허구의 내용을 만들어낸다고 밝혔음.
Whisper는 Nabla라는 회사에서 의료 전사 도구로 사용되며, ABC 뉴스에 따르면 700만 건의 의료 대화를 전사했다고 추정됨. 30,000명 이상의 임상의와 40개 건강 시스템이 이를 사용하고 있다고 함. Nabla는 Whisper가 환각을 일으킬 수 있다는 것을 알고 있으며, "문제를 해결하고 있다"고 보고됨.
코넬 대학교, 워싱턴 대학교 등 여러 연구자들로 구성된 그룹은 연구에서 Whisper가 전사에서 약 1%의 확률로 환각을 일으키며, 때때로 폭력적인 감정이나 무의미한 문구를 만들어낸다고 밝혔음. 연구자들은 이 연구의 일환으로 TalkBank의 AphasiaBank에서 오디오 샘플을 수집했으며, 언어 장애인 아프라시아가 말할 때 침묵이 특히 흔하다고 언급함.
연구자 중 한 명인 Allison Koenecke는 연구에 대한 스레드에서 아래와 같은 예시를 게시했음.
연구자들은 환각이 발명된 의학적 상태나 "시청해 주셔서 감사합니다!"와 같은 유튜브 비디오에서 기대할 수 있는 문구를 포함한다고 밝혔음. (OpenAI는 GPT-4 훈련을 위해 100만 시간 이상의 유튜브 비디오를 전사한 것으로 알려져 있음.)
이 연구는 6월 브라질에서 열린 컴퓨팅 기계 협회 FAccT 회의에서 발표되었음. 동료 검토가 이루어졌는지는 불확실함.
OpenAI 대변인 Taya Christianson은 The Verge에 이메일로 성명을 보냈음:
"우리는 이 문제를 심각하게 받아들이며, 환각을 줄이는 것을 포함하여 지속적으로 개선하기 위해 노력하고 있습니다. API 플랫폼에서 Whisper 사용에 대한 우리의 사용 정책은 특정 고위험 의사 결정 맥락에서의 사용을 금지하며, 오픈 소스 사용을 위한 모델 카드에는 고위험 분야에서의 사용을 권장하지 않는 내용이 포함되어 있습니다. 연구자들이 그들의 발견을 공유해 주셔서 감사합니다."
