OpenAI는 Orion에서 코딩과 같은 특정 분야에서 어려움을 겪고 있다고 보도됨.
훈련 데이터의 품질 문제로 인해 진행 속도가 예상보다 느림.
차세대 모델은 더 비쌀 수도 있음.
OpenAI는 AI를 구동하는 차세대 모델인 Orion에서 어려움을 겪고 있음. 이 회사는 GPT-4의 후속 모델에서 성능 향상과 관련하여 특정 분야에서 어려움을 겪고 있음.
이는 The Information의 보고서에 따른 것으로, OpenAI 직원들이 Orion에서의 품질 향상이 GPT-3에서 GPT-4로 이동할 때 목격된 것보다 '훨씬 작다'고 주장함.
일부 OpenAI 연구자들은 Orion이 특정 작업을 처리하는 데 있어 '신뢰할 수 있게' 이전 모델인 GPT-4보다 나은 성능을 보이지 않는다고 말하고 있음. 어떤 작업일까? 코딩이 약점으로 지적되고 있으며, Orion이 이 분야에서 GPT-4를 능가하지 못할 가능성이 있음. 다만 Orion의 언어 능력은 더 강력하다고도 언급됨.
따라서 일반적인 쿼리와 텍스트 요약 또는 재작성과 같은 작업에 대해서는 상대적으로 잘 진행되고 있는 것 같음. 그러나 AI를 코딩 도우미로 사용하려는 사람들에게는 그리 희망적인 소식이 아닌 것 같음.
그렇다면 문제는 무엇일까?
모든 계정에 따르면 OpenAI는 AI를 훈련시키기 위한 데이터에서 벽에 부딪히고 있음. 보고서에 따르면, LLM(대형 언어 모델)이 더 복잡한 문제를 해결하기 위해 사전 출시 훈련에서 작업할 수 있는 '고품질 텍스트 및 기타 데이터의 공급이 줄어들고 있다'고 명시됨.
이 LLM들은 많은 저수익 과제를 소화해버렸고, 이제 좋은 품질의 훈련 데이터를 찾는 것이 상당히 어려운 과정이 되어 발전이 느려지고 있음.
게다가 이 훈련은 컴퓨팅 자원 측면에서 더 집중적으로 진행될 것이며, 이는 Orion 및 향후 AI 모델 개발과 운영이 훨씬 더 비쌀 것임을 의미함. 물론 AI 사용자가 결국 그 비용을 부담하게 될 것이며, 더 발전된 모델이 사실상 '재정적으로 실행 불가능'해질 것이라는 이야기도 있음.
더욱이, 기후 변화에 대한 우려가 커지는 시점에서 더 큰 데이터 센터가 돌아가고 전력을 더 많이 소모하는 것에 대한 환경적 영향도 무시할 수 없음.
이 보고서는 적절한 주의와 함께 받아들여야 하지만, AI 개발의 향후 현실 점검을 예고하는 우려스러운 소식들이 있음.
The Information은 초기 훈련 이후 AI 모델을 지속적으로 개선하기 위한 다른 접근 방식이 필요할 수 있다고 언급하고 있으며, 이는 앞으로의 상황에 따라 필수적이 될 수 있음. 지켜봐야 할 일임.
Orion은 2025년 초에 출시될 예정이며, 일부 루머가 암시한 것처럼 즉각적으로 출시되지 않을 것이며, OpenAI는 이 차세대 모델의 명명 방식을 완전히 변경할 가능성이 있음.
