AI 우위 경쟁이 다시 가속화되고 있음. xAI CEO 일론 머스크가 트위터를 통해 그의 회사가 세계에서 "가장 강력한" AI 훈련 클러스터인 콜로서스를 성공적으로 온라인으로 가동했다고 발표함.
"이번 주말에 @xAI 팀이 우리의 콜로서스 100k H100 훈련 클러스터를 온라인으로 가동했습니다. 시작부터 끝까지 122일이 걸렸습니다. 콜로서스는 세계에서 가장 강력한 AI 훈련 시스템입니다. 게다가 몇 달 안에 200k(50k H200s)로 두 배로 늘어날 것입니다. 팀, 엔비디아 및 많은 파트너/공급업체의 훌륭한 작업입니다,"라고 머스크가 X에 게시함.
머스크의 "가장 강력한" 주장은 시스템에 사용된 GPU의 수를 기준으로 함. 100,000개의 엔비디아 H100이 이를 구동하고 있어, 콜로서스는 지금까지 개발된 어떤 AI 시스템보다도 더 큰 것으로 추정됨.
머스크는 2023년 4월에 수만 개의 GPU를 구매하기 시작했으며, 이는 AI 개발에 대한 산업 전반의 6개월 "중단"을 요구하는 공개 서한을 작성한 직후임. 같은 해 3월, 머스크는 회사가 AI를 활용해 트위터에서 "여론 조작을 감지하고 강조할 것"이라고 주장했지만, GPU 슈퍼컴퓨터는 아마도 대형 언어 모델인 Grok을 훈련하는 데도 활용될 것임.
Grok은 2023년에 xAI에 의해 도입되었으며, ChatGPT, Gemini, Llama 3.1, Claude와 같은 경쟁자들의 성공에 대응하기 위해 출시됨. 회사는 8월에 업데이트된 Grok-2를 베타로 출시함. "우리는 Grok-2를 도입하여 AI 개발의 최전선에 서게 되었습니다,"라고 xAI가 최근 블로그 게시물에서 언급함. "우리의 초점은 새로운 컴퓨팅 클러스터로 핵심 추론 능력을 발전시키는 것입니다. 앞으로 몇 달 안에 더 많은 발전을 공유할 것입니다."
머스크는 또한 테슬라를 "AI 및 로봇 공학의 선두주자로 발전시킬 수 있다"고 주장하지만, CNBC의 최근 보고서에 따르면 머스크는 테슬라에서 매우 수요가 많은 엔비디아의 GPU 배송을 xAI와 트위터로 전환하고 있다고 함. 이렇게 되면 테슬라의 자율주행 기술 및 옵티머스 휴머노이드 로봇 개발에 필요한 컴퓨팅 자원 설치가 지연될 수 있음.
"일론이 X에 H100 GPU 클러스터 배치를 우선시하면서 테슬라에 원래 배정된 12,000개의 H100 GPU를 X로 전환하고 있습니다,"라고 CNBC가 입수한 엔비디아 메모가 읽힘. "대신, 원래 X 주문의 12,000개 H100은 [1월]과 6월에 테슬라로 전환될 것입니다."
