수년간 많은 AI 산업 전문가들은 새로운 AI 모델의 빠르게 성장하는 능력을 보며 앞으로도 기하급수적인 성능 향상이 계속될 것이라고 생각해왔음.
최근에는 이러한 AI "스케일링 법칙"에 대한 낙관론이 대규모 언어 모델의 능력이 이미 정체기에 접어들고 있다는 우려로 대체되고 있음.
주말에 발표된 The Information의 보고서는 OpenAI 내부의 여러 관계자들 사이에서 이러한 우려가 어떻게 나타나고 있는지를 효과적으로 요약했음. 익명의 OpenAI 연구자들은 The Information에 회사의 다음 완전한 모델 출시를 위한 코드명인 Orion이 최근 몇 년간 GPT-3와 GPT-4 사이에서 보였던 것보다 성능 향상이 적다고 전했음. 사실 특정 작업에서는 다가오는 모델이 "이전 모델보다 신뢰할 수 있게 더 나은 성능을 보이지 않는다"고 언급했음.
월요일, OpenAI 공동 창립자인 일리야 수츠케버는 전통적인 사전 훈련에서 얻을 수 있는 것들이 정체기에 접어들고 있다는 우려를 더했음. 수츠케버는 로이터에 "2010년대는 스케일링의 시대였으며, 추가적인 컴퓨팅 자원과 훈련 데이터를 같은 기본 훈련 방법에 투입하면 후속 모델에서 인상적인 개선을 이끌어낼 수 있었다"고 말했음.
"이제 우리는 다시 경이와 발견의 시대에 돌아왔다"고 수츠케버는 로이터에 말했음. "모두가 다음 것을 찾고 있으며, 올바른 것을 스케일링하는 것이 그 어느 때보다 중요하다"고 덧붙였음.
다음은 무엇일까?
전문가들과 내부 관계자들이 언급한 바에 따르면, 훈련 문제의 큰 부분은 새로운 LLM이 훈련할 수 있는 새로운 질 좋은 텍스트 데이터의 부족임. 현재 모델 제작자들은 이미 공개 인터넷과 출판된 책에서 방대한 양의 텍스트에서 가장 쉽게 얻을 수 있는 데이터를 선택했을 가능성이 있음.
연구 기관 Epoch AI는 올해 초 이 문제를 정량화하려고 시도했으며, LLM 훈련 데이터 세트의 증가율을 "추정된 인간 생성 공개 텍스트의 재고"와 비교했음. 이러한 추세를 분석한 후, 연구자들은 "언어 모델이 이 재고를 완전히 활용할 수 있는 시점은 2026년에서 2032년 사이"일 것이라고 추정했음. 이는 문제를 해결하기 위해 더 많은 훈련 데이터를 투입할 수 있는 여지가 거의 없음을 의미함.
OpenAI와 다른 회사들은 이미 합성 데이터(다른 모델이 생성한 데이터)를 훈련하는 방향으로 전환하기 시작했으며, 이는 다가오는 훈련 장벽을 넘기 위한 시도임. 그러나 이러한 인공 데이터가 몇 차례의 재귀 훈련 후에 맥락적 "모델 붕괴"를 초래할 수 있는지에 대한 논란이 있음.
다른 이들은 새로운 훈련 지식이 아닌 추론 능력의 개선을 기반으로 한 미래 AI 모델의 확장에 희망을 걸고 있음. 그러나 최근 연구에 따르면 현재의 "최첨단" 추론 모델이 쉽게 잘못된 정보에 속아 넘어가는 경우가 많음. 다른 연구자들은 대규모 "교사" 네트워크가 더 정제된 질 좋은 정보 세트로 "학생" 네트워크를 훈련하는 데 도움이 될 수 있는지에 대해 연구하고 있음.
하지만 현재 LLM 훈련 방법이 정체기에 접어들고 있다면, 다음 큰 혁신은 전문화에서 올 수 있음. 마이크로소프트는 특정 유형의 작업과 문제에 집중하는 소위 소형 언어 모델에서 이미 일부 성공을 보여줬음. 우리가 오늘날 익숙한 일반적인 LLM과는 달리, 가까운 미래의 AI는 점점 더 좁은 전문화에 집중할 수 있으며, 이는 인간 지식의 더 새로운, 더 난해한 경로를 개척하는 박사 과정 학생들과 유사함.
