이 이야기를 들어보세요
오픈AI가 o1 출시의 영광을 누리는 동안, 구글은 조용히 이를 초월할 수 있는 모델을 개발하고 있음.
지난 12월 구글이 제미니를 출시한 이후, 두 회사는 서로를 초월하기 위한 경쟁에 빠져 있음.
AI 내부자 지미 애플스는 최근 X에 비디오를 올리며 구글이 곧 더 나은 것을 출시할 것이라고 암시하며 '인내심을 가져라, 그들이 오고 있다'는 메시지를 전함. 구글의 AI 스튜디오 및 제미니 API의 수석 제품 관리자 로건 킬패트릭도 '제미니 모드'라는 게시물을 공유하며 새로운 제미니 출시를 암시함.
킬패트릭은 AIM에 구글이 제미니 2를 출시할 계획이며, 이는 더 나은 추론 품질과 더 긴 컨텍스트 창을 특징으로 할 것이라고 전함. 킬패트릭에 따르면, 이 모델은 완전한 다중 모드로, 대형 비디오를 이해할 수 있는 능력을 가질 것임.
오픈AI는 o1이 있다고 생각함
최근 인터뷰에서 오픈AI의 수장 샘 올트먼은 다른 연구 기관들이 오픈AI의 방법을 복사하고 있다고 비난함. '우리는 매우 집중된 연구 프로그램을 가지고 있다. 다른 연구 프로그램들이 저지르는 실수 중 하나는 충분한 확신과 집중이 부족하다는 것'이라고 말함.
하지만, 이것이 전적으로 사실일지는 의문임.
2017년 구글이 'Attention Is All You Need' 논문에서 처음 발표한 트랜스포머 이후, 오픈AI는 구글 딥마인드의 가장 인기 있는 강화 학습 이론 중 하나를 통합하여 구글이 고급 모델 출시 일정을 가속화하도록 압박함.
최근 애플스는 지난해 작성된 문서를 X에 공유하며 구글이 LLM에 'PLANNING' 요소를 통합할 계획이라고 밝힘. 또한 오래된 Wired 기사에서 구글의 데미스 하사비스는 그의 팀이 알파고에서 사용된 기술을 결합하여 시스템에 계획 및 새로운 문제를 해결하는 능력을 부여할 것이라고 언급함.
흥미롭게도, 오픈AI o1이 출시되었을 때, 애리조나 주립대의 수브바라오 캄밤파티 교수는 o1이 RL을 개인화된 CoT 방법론에 통합하고 있다고 추측함.
Chain of Thought 또는 'CoT'는 단계별 추론 또는 사고 과정을 생성하는 것을 의미하며, 이는 모델이 복잡한 작업을 처리하는 능력을 향상시킬 수 있음.
그는 오픈AI o1이 문제 해결을 위해 '이동'을 정의함으로써 알파고와 유사하게 작동할 수 있다고 비유함.
또한 캄밤파티는 RL 작업이 원래 프롬프트를 기반으로 CoT를 생성하고 선택하는 것과 관련이 있으며, 출력이 훈련 데이터의 예상 답변과 일치하는지 여부에 따라 성공 또는 실패를 평가한다고 제안함. 알파고에서는 성공이 게임 결과에 의해 결정되었고, o1의 경우 성공은 모델의 확장된 프롬프트가 훈련 데이터에 기반한 올바른 답변으로 이어지는지 여부로 측정될 수 있음.
그의 주장은 타당할 수 있으며, 오픈AI는 블로그 게시물에서 '강화 학습을 통해 o1은 사고의 연쇄를 다듬고 사용하는 전략을 개선하는 법을 배운다. 실수를 인식하고 수정하는 법을 배우며, 복잡한 단계를 더 간단한 단계로 나누는 법을 배운다'고 언급함.
구글은 올해 초 'Chain of Thought Empowers Transformers to Solve Inherently Serial Problems'라는 제목의 논문을 발표했으며, CoT의 길이를 늘리면 트랜스포머를 더 표현력 있게 만들 수 있다고 설명함. 연구자들은 트랜스포머 모델이 특정 제한 사항을 가지고 해결할 수 있는 새로운 문제 클래스 정의함.
뿐만 아니라 구글은 최근 'Training Language Models to Self-Correct via Reinforcement Learning'이라는 또 다른 논문을 발표함. 구글 딥마인드는 LLM의 자기 수정 능력을 향상시키기 위해 다중 턴 온라인 강화 학습 접근 방식을 개발함. SFT는 자기 수정을 배우는 데 비효율적이며 훈련 데이터와 모델 응답 간의 분포 불일치로 고통받음.
반면, 많은 사람들은 오픈AI의 o1이 시스템 2 LLM의 첫 번째 성공적인 상업적 출시로 간주될 수 있다고 주장함.
시스템 2 LLM은 더 의도적이고 분석적인 사고를 모방하기 위해 설계된 언어 모델의 일종으로, 다니엘 카너먼의 '시스템 2' 사고 개념과 유사함. 이 프레임워크에서 시스템 1은 빠르고 자동적이며 직관적인 반응으로 특징지어지며, 시스템 2는 느리고 더 체계적인 추론을 포함하여 의식적인 노력이 필요함.
'GPT-4 o1에 열광하는 사람들을 위해, 구글은 제미니 출시 이후 사고의 연쇄(즉, 시스템 2)를 확장하기 위해 작업해왔다. 그래서 전문화된 오픈 소스 제마 구현에 주목해야 한다'고 인튜잇 머신의 공동 창립자 카를로스 E. 페레즈가 구글 제미니의 '불확실성 경로화된 사고의 연쇄'를 언급하며 게시함.
구글 딥마인드는 모든 AI 혁신의 뒷받침이 되는 두뇌임.
킬패트릭은 AIM에 구글 제미니 팀과 구글 딥마인드가 매우 밀접하게 협력하고 있다고 전함. 그는 구글 딥마인드 팀이 궁극적으로 기술이 개발자와 더 넓은 세계에 도달하도록 보장하고 싶어한다고 밝혔음. '그들은 모델 위에 구축하는 제품 팀이 다가오는 것에 대해 계속 정보를 받을 수 있도록 하는 것을 매우 중요하게 생각함.'
구글 딥마인드의 최근 모델인 알파프루프와 알파지오메트리 2는 올해 국제 수학 올림피아드(IMO)에서 은메달을 수상함. 한편, 오픈AI o1은 국제 수학 올림피아드의 예선 시험에서 83%를 기록했으며, GPT-4o는 13%를 기록함.
알파 지오메트리 2는 제미니를 기반으로 한 신경-상징적 하이브리드 시스템으로, 이전 모델보다 수십 배 더 많은 합성 데이터로 처음부터 훈련됨. 구글 딥마인드의 RL 기술과 제미니의 사고의 연쇄 통합이 더 개선되면, 구글은 오픈AI의 o1을 초월하는 모델을 만들 수 있을 것임.
