AMD의 Instinct MI300X는 매우 강력한 AI 가속기이며, 주요 클라우드 기업들이 집중적인 AI 작업을 지원하기 위해 이를 인프라에 통합하기 시작함.
Vultr는 "수천 개"의 MI300X 유닛을 주문했다고 발표했으며, 이제 Oracle Cloud Infrastructure(OCI)는 새로운 OCI Compute Supercluster 인스턴스인 BM.GPU.MI300X.8을 위해 AMD의 하드웨어를 채택했다고 밝힘.
새로운 슈퍼클러스터는 수십억 개의 매개변수를 포함하는 대규모 AI 모델을 위해 설계되었으며, 단일 클러스터에서 최대 16,384개의 GPU를 지원함. 이 설정은 다른 OCI 가속기에서 사용되는 동일한 고속 기술을 활용하여 가장 까다로운 작업에 필요한 메모리 용량과 처리량으로 대규모 AI 훈련 및 추론을 가능하게 함. 이 구성은 LLM 및 복잡한 딥러닝 작업에 특히 적합함.
“AMD Instinct MI300X와 ROCm 오픈 소프트웨어는 가장 중요한 OCI AI 작업을 지원하는 신뢰할 수 있는 솔루션으로서 계속해서 모멘텀을 얻고 있다”고 AMD의 데이터 센터 GPU 비즈니스 부사장인 Andrew Dieckmann이 말함. “이 솔루션들이 AI 집약적인 시장으로 더 확장됨에 따라, 이 조합은 OCI 고객에게 높은 성능, 효율성 및 더 큰 시스템 설계 유연성을 제공할 것임.”
오라클은 MI300X의 사전 생산 테스트에서 실제 시나리오에서 GPU의 성능을 검증했다고 밝힘. Llama 2 70B 모델의 경우, MI300X는 65밀리초의 "첫 번째 토큰까지의 시간" 지연을 달성했으며, 256개의 동시 사용자 요청에서 3,643개의 토큰을 생성하는 데 효율적으로 확장됨. 2,048개의 입력 및 128개의 출력 토큰을 사용한 또 다른 테스트에서는 1.6초의 종단 간 지연을 제공하여 AMD의 자체 벤치마크와 밀접하게 일치함.
OCI BM.GPU.MI300X.8 인스턴스는 8개의 AMD Instinct MI300X 가속기를 특징으로 하며, 5.3TB/s의 대역폭을 가진 1.5TB의 HBM3 GPU 메모리를 제공하고, 2TB의 시스템 메모리 및 8 x 3.84TB NVMe 스토리지를 결합함. 오라클은 GPU당 시간당 6달러에 이 베어메탈 솔루션을 제공할 예정임.
“AMD Instinct MI300X 가속기의 추론 기능은 AI 인프라에 일반적으로 사용되는 가상화된 컴퓨팅의 오버헤드를 제거하기 위해 OCI의 고성능 베어메탈 인스턴스의 광범위한 선택에 추가된다”고 오라클 클라우드 인프라의 소프트웨어 개발 부사장인 Donald Lu가 말함. “우리는 경쟁력 있는 가격으로 AI 작업을 가속화하려는 고객에게 더 많은 선택을 제공하게 되어 기쁘다.”
