PC/프린팅/디바이스

AMD, MI300X MLPerf 벤치마크 결과 공개 "엔비디아 H100 앞섰다”

디지털데일리 발행일 2024-08-29 17:11:35
  • 가
  • 가
김문기 기자

[디지털데일리 김문기 기자] AMD(대표 리사 수) 28일(현지시간) AI 관련 개방형 컨소시엄인 ML커먼즈(MLCommons)의 웹사이트를 통해 AMD 인스팅트 MI300X GPU를 사용한 ML퍼프(MLPerf)의 첫 벤치마크 결과를 공개했다.

제출 가능한 벤치마크 유형에는 ML퍼프 인퍼런스: 데이터센터(MLPerf Inference: Datacenter), ML퍼프 트레이닝(MLPerf Training), 2024년 도입된 최첨단 대규모 젠AI(GenAI) 언어 모델인 라마 2 70B(Llama 2 70B) 등이다. AMD는 이들 중 널리 사용되는 LLM인 라마 2 70B를 채택했다.

AMD는 ML퍼프 인퍼런스 v4.1 테스트 결과에 대해 AI 작업을 위해 시중에서 판매되는 AMD CPU및 GPU의 최상의 조합이라고 자평했다. MI300X의 대용량 메모리(192GB)를 통해 단일 MI300X GPU로 전체 라마 2 70B 모델 실행이 가능함을 입증했다. AMD의 차세대 CPU를 통한 AI 작업 성능 개선도 이뤘다는 평가다.

Showcasing performance of CPU-GPU combination for AI workload [사진=AMD]
Showcasing performance of CPU-GPU combination for AI workload [사진=AMD]
Single GPU Running the Entire Llama 2 70B Model [사진=AMD]
Single GPU Running the Entire Llama 2 70B Model [사진=AMD]

AMD는 “ML퍼프 4.1 인퍼런스 테스트 결과는 ROCm를 기반으로 한 MI300X이 라마 2 70B와 같은 대규모 LLM에 대해 뛰어난 추론 성능을 제공함을 증명했으며, 라마 2 70B LLM이 포함된 엔비디아(Nvidia)의 H100과 같은 경쟁 제품의 테스트 결과에 대한 비교도 제공했다”고 밝혔다.

아울러 “AMD 인스팅트 MI300X GPU 가속기를 탑재한 차세대 5세대 AMD 에픽(코드명 튜린) CPU의 성능 향상을 입증했으며, 서버 시나리오에서 인텔 제온을 탑재한 엔비디아 DGX H100보다 약간 앞서고 FP8 정밀도에서 오프라인 시나리오의 경우 비슷한 성능을 유지했다”고 덧붙였다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
김문기 기자
moon@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널

당신이 좋아할 만한 뉴스

많이 본 기사

연재기사

실시간 추천 뉴스