구글 클라우드가 최신 TPU인 트릴리움을 공개함. 트릴리움은 구글의 맞춤형 AI 칩 라인업의 여섯 번째 세대 모델로, 고급 AI 작업을 지원하도록 설계됨.
트릴리움은 2024년 5월에 처음 발표되었으며, 대규모 훈련, 조정 및 추론을 처리할 수 있도록 성능과 비용 효율성을 개선함.
이번 출시로 구글 클라우드의 AI 하이퍼컴퓨터 인프라의 일환으로 TPUs, GPUs, CPUs와 오픈 소프트웨어가 통합되어 생성 AI의 증가하는 수요를 충족함.
트릴리움은 TPU v5e에 비해 4배 이상의 훈련 성능 향상과 3배의 추론 처리량 증가를 약속함. HBM 용량이 두 배로 증가하고, 인터칩 인터커넥트(ICI) 대역폭도 두 배로 늘어나 대형 언어 모델과 같은 계산 집약적인 추론 애플리케이션에 특히 적합함.
구글은 트릴리움의 에너지 효율성에도 중점을 두고 있으며, 이전 세대에 비해 67% 향상된 성능을 주장함.
구글은 새로운 TPU가 벤치마크 테스트에서 상당한 성능 향상을 보여주었으며, Gemma 2-27b 및 Llama2-70B 모델에 대해 4배의 훈련 속도 증가를 달성했다고 전함. 추론 작업에서는 TPU v5e에 비해 3배 더 높은 처리량을 기록하며, 계산 자원을 많이 요구하는 모델에서 특히 뛰어난 성능을 보임.
트릴리움의 또 다른 강점은 확장성임. TPU는 단일 고대역폭 포드에서 최대 256개의 칩을 연결할 수 있으며, 구글의 주피터 데이터 센터 네트워크 내에서 수천 개의 칩으로 확장 가능함. 멀티슬라이스 소프트웨어를 통해 트릴리움은 수백 개의 포드에서 일관된 성능을 유지함.
트릴리움의 출시와 함께 구글은 엔비디아 H200 텐서 코어 GPU를 탑재한 A3 울트라 VM도 발표함. 이들은 이번 달 미리보기 예정이며, 구글 클라우드 고객에게 고성능 GPU 옵션을 제공할 것임.
