‘AMD 인스팅트 MI300X’ MS 애저 오픈AI 지원
[디지털데일리 김문기 기자] AMD(대표 리사 수)는 마이크로소프트 빌드 컨퍼런스에서 마이크로소프트 고객 및 개발자를 위한 최신 엔드투엔드 컴퓨팅 및 소프트웨어 기능을 공개했다.
마이크로소프트는 AMD 인스팅트 MI300X 가속기, ROCm 개방형 소프트웨어, 라이젠 AI 프로세서 및 소프트웨어와 알베오 MA35D 미디어 가속기 등 AMD의 솔루션을 통해 AI 기반을 구축하는 툴을 지원한다. 마이크로소프트의 새로운 애저 ND MI300X 가상머신(VM)은 현재 공식 출시됐다. 까다로운 AI 워크로드를 처리해야 하는 허깅 페이스와 같은 고객에게 탁월한 성능과 효율성을 제공한다.
빅터 펭 AMD 사장은 “AMD 인스팅트 MI300X 및 ROCm 소프트웨어 스택은 세계에서 가장 까다로운 AI 워크로드 중 하나인 애저 오픈AI 챗GPT 3.5 및 4 서비스를 지원하고 있다”며, “애저의 새로운 가상머신이 공식 출시됨에 따라 AI 고객들이 더욱 폭넓게 MI300X에 액세스하여 AI 애플리케이션을 위한 고성능, 고효율의 솔루션을 활용할 수 있게 되었다”고 밝혔다.
케빈 스콧 마이크로소프트 최고기술책임자(CTO)이자 AI 부문 수석 부사장은 “마이크로소프트와 AMD는 PC를 시작으로, Xbox용 맞춤형 실리콘과 HPC, 현재의 AI에 이르기까지 여러 컴퓨팅 플랫폼에 걸쳐 다양한 파트너십을 이어오고 있다”며, “최근에는 놀라운 AI 성능과 가치를 제공하기 위해 강력한 컴퓨팅 하드웨어와 최적화된 시스템 및 소프트웨어의 결합이 중요하다는 점에 주목했다”고 덧붙였다.
이어, “우리는 마이크로소프트의 AI 고객 및 개발자들이 최첨단 컴퓨팅 집약적인 프론티어 모델에 대해 탁월한 가격 대비 성능 결과를 달성할 수 있도록 AMD의 ROCm 및 MI300X를 이용했다. 앞으로도 AI 발전을 가속화하기 위해 AMD와의 협력에 주력할 것”이라고 강조했다.
지난해 11월 공개된 ND MI300x v5 가상머신 시리즈는 고객들이 AI 워크로드를 실행할 수 있도록 캐나다 중부 지역에 공식 배포됐다. 탁월한 HBM 용량과 메모리 대역폭을 제공함으로써 고객들이 GPU 메모리에 더 큰 모델을 탑재하거나 더 적은 GPU를 이용해 궁극적으로 전력, 비용 및 솔루션 구현 시간을 절감할 수 있도록 지원한다.
이를 지원하는 ROCm 소프트웨어는 애저 오픈AI 서비스를 비롯한 애저 AI 프로덕션 워크로드에도 사용되고 있어 고객들이 GPT-3.5 및 GPT-4 모델에 액세스할 수 있도록 지원한다. 마이크로소프트는 AMD 인스팅트 MI300X와 검증된 ROCm 개방형 소프트웨어 스택을 통해 GPT 추론 워크로드에서 가격 대비 성능을 달성했다.
마이크로소프트의 애저 AI 프로덕션 워크로드 외, 허깅 페이스도 이러한 가상머신을 가장 먼저 이용하고 있는 고객 중 하나이다. 허깅 페이스는 1개월 만에 자사 모델을 ND MI300X 가상머신에 포팅했다. 이를 통해 탁월한 성능은 물론, 높은 가격 대비 성능을 달성할 수 있었다. 이를 기반으로 ND MI300X 가상머신 고객들은 허깅 페이스의 모델을 가상머신에 도입하여 보다 쉽고 효율적으로 NLP 애플리케이션을 생성 및 구축할 수 있게 됐다.
AMD 라이젠 AI 소프트웨어는 개발자들이 AMD 라이젠 AI 기반 PC에서 AI 추론을 최적화하고 구축할 수 있도록 지원한다. 라이젠 AI 소프트웨어를 이용하면, 윈도우 x86 프로세서 최초의 AI 전용 프로세서인 AMD XDNA 아키텍처 기반 신경망 처리장치(NPU)를 통해 애플리케이션을 실행할 수 있다.
AI 모델을 CPU 또는 GPU에서만 실행하면 배터리가 빠르게 소모될 수 있지만, 라이젠 AI 기반 노트북은 임베디드 NPU을 활용해 AI 모델이 구동하기 때문에 CPU 및 GPU 리소스를 다른 컴퓨팅 작업에 활용할 수 있다. 이를 통해 배터리 수명을 대폭 늘리는 것은 물론, 개발자가 온디바이스 LLM AI 워크로드와 애플리케이션을 로컬에서 동시에 효율적으로 실행할 수 있다.
아울러, 마이크로소프트는 마이크로소프트 팀즈(Teams)와 쉐어포인트(SharePoint) 비디오 등 방대한 라이브 스트리밍 비디오 워크로드를 지원하기 위해 AMD 알베오 MA35D 미디어 가속기를 채택했다. 대규모 라이브 대화형 스트리밍 서비스를 지원하기 위해 특수 설계된 알베오 MA35D는 비디오 트랜스코딩, 디코딩, 인코딩 및 ABR(Adaptive Bitrate) 스트리밍을 포함한 비디오 프로세싱 워크로드를 간소화하여 마이크로소프트가 고품질 비디오 경험을 보장할 수 있도록 지원한다.
한편, 현재 4세대 AMD 에픽 프로세서는 애저에서 사용되는 범용 가상머신을 비롯해 메모리 집약적, 컴퓨팅 최적화 및 가속 컴퓨팅 가상머신 등 수많은 솔루션을 지원하고 있다. 이러한 가상머신은 클라우드 분야에서 AMD 에픽 프로세서의 성장 및 수요 증가를 이끌고 있다. 탁월한 가격 대비 성능으로 범용 및 메모리 집약적 가상머신의 성능을 최대 20%까지 향상시키는 것은 물론, 애조를 지원하는 이전 세대 AMD 에픽 프로세서 기반 가상머신에 비해 컴퓨팅 최적화 가상머신에 대한 CPU 성능을 최대 2배까지 높일 수 있다.
영풍, 고려아연으로부터 받은 배당금만 1조 1300억원
2024-11-24 14:28:03은행권 대출 민원 작년 대비 '껑충'… 금리인하기인데 왜?
2024-11-24 14:14:19[OTT레이더] 협박전화 한 통에…넷플릭스·웨이브 '지금 거신 전화는'
2024-11-24 13:04:04[DD 주간브리핑] 이재용 삼성전자 경영권 항소심…KBS 사장 후보자 추천과정 현장검증
2024-11-24 13:01:33온라인 금융상품, 다이내믹 프라이싱(DP) 시대 오나?
2024-11-24 12:28:32