[디지털데일리 김문기기자] “인텔 가우디3 AI 가속기는 엔비디아 H100 대비 라마(Llama2) 70억개 및 130억개의 매개변수와 GPT-3 1750억개의 매개변수 모델에서 학습 시간 50%을 단축하고, 라마 70억개 및 700억개의 매개변수 모델에서 50% 빠른 추론 처리량과 함께 40% 향상된 추론 전력 효율성을 제공한다. 무엇보다 개방형에 즉각 도입이 가능하다.”

인텔(대표 팻 겔싱어)은 9일(현지시간) 미국 애리조나 주 피닉스에서 개최한 ‘인텔 비전 2024’ 컨퍼런스에서 기존 모델 대비 BF16용 AI 컴퓨팅에서 4배, 메모리 대역폭에서 1.5배, 대규모 시스템 확장을 위한 네트워킹 대역폭은 2배 향상한 ‘인텔 가우디3’ AI 가속기를 공개했다.

가우디 3는 대규모 언어 모델(LLM) 및 멀티모달 모델에서 AI 학습 및 추론을 위한 성능과 생산성을 대폭 향상했다. 인텔은 MLPerf 벤치마크를 공개한 바 있는 인텔 가우디2 AI 가속기의 입증된 성능과 효율성을 기반으로 개방형 커뮤니티 기반 소프트웨어 및 업계 표준 이더넷 네트워킹을 제공해 고객에게 시스템을 보다 유연하게 확장할 수 있는 선택권을 제공할 것이라 설명했다.

저스틴 호타드 수석 부사장 인텔 데이터센터(DCAI) 및 AI 그룹 총괄은 “끊임없이 진화하는 AI 시장 환경 속에서 현재 제공되는 제품에는 상당한 격차가 존재한다. 고객과 시장의 피드백에 의하면 선택의 폭이 확대되길 바라는 요구가 있다”라며 “기업은 가용성, 확장성, 성능, 비용, 에너지 효율성 등을 비중있게 고려한다. 인텔 가우디 3는 가격 대비 성능, 시스템 확장성, 가용성 등 모든 측면에서 이점을 갖춘 매력적인 생성형 AI 대안으로 주목받고 있다”고 밝혔다.

인텔은 가우디3 가속기가 금융, 제조, 의료 등 주요 부문의 기업들은 AI에 대한 접근성을 확대하고 실험 단계에서 본격적인 구현으로 전환하는 생성형 AI(GenAI) 프로젝트를 모색하는데 따른 요구사항을 충족한다고 강조했다. 개방형 커뮤니티 기반 소프트웨어와 개방형 산업 표준 이더넷을 통해 다양한 기능을 제공하여 기업이 AI 시스템과 애플리케이션을 유연하게 확장할 수 있도록 지원한다는 설명이다.

고성능 고효율 AI 가속기…PCIe 애드 제품군 추가

인텔 가우디 3 가속기는 5나노미터(nm) 공정으로 제조된다. MME(Matrix Multiplication Engine), 텐서 프로세서 코어(TPC), 네트워킹 인터페이스 카드(NIC) 등 모든 엔진을 병렬로 활성화할 수 있도록 설계되어 빠르고 효율적인 딥러닝 연산 및 확장에 필요한 가속화를 지원한다.

우선, 인텔 가우디 3 가속기는 고성능, 고효율 생성형 AI 컴퓨팅을 위해 설계됐다. 각 가속기는 64개의 AI 맞춤형 및 프로그래밍 가능한 TPC와 8개의 MME로 구성된 이종 컴퓨팅 엔진을 갖추고 있다. 각 인텔 가우디 3 MME는 6만 4천개의 병렬 연산을 수행할 수 있어 높은 수준의 연산 효율성을 제공한다. 딥 러닝 알고리즘의 기본 연산 유형인 복잡한 행렬 연산을 능숙하게 처리할 수 있다. 가우디3만의 설계는 병렬 AI 작업의 속도와 효율성을 가속화하고 FP8 및 BF16을 비롯한 여러 데이터 유형을 지원한다.

128 GB의 HBMe2 메모리 용량, 3.7 TB의 메모리 대역폭, 96 MB의 SRAM(온보드 정적 기억 장치)으로 더 적은 수의 인텔 가우디 3에서 대규모 생성형 AI 데이터세트를 처리할 수 있는 메모리를 제공한다. 특히 대규모 언어 및 멀티모달 모델을 제공하는 데 유용해 워크로드 성능과 데이터센터 비용 효율성이 향상된다.

24개의 200 Gb 이더넷 포트가 모든 인텔 가우디 3 가속기에 통합됐다. 이를 통해 효율적인 확장이 가능해 대규모 컴퓨팅 클러스터를 지원하고 독점 네트워킹 패브릭이 한 벤더에 종속될 필요가 없다는 설명이다. 단일 노드에서 수천 개까지 효율적으로 스케일업 및 스케일아웃할 수 있도록 설계돼 생성형 AI 모델의 광범위한 요구 사항을 충족한다고 덧붙였다.

개발자의 생산성을 위한 개방형 산업 소프트웨어: 인텔 가우디 소프트웨어는 파이토치(PyTorch) 프레임워크를 통합하며 생성형 AI 개발자에게 가장 널리 사용되는 AI 프레임워크인 허깅 페이스(Hugging Face) 커뮤니티 기반 최적화 모델을 제공한다. 이를 통해 생성형 AI 개발자는 높은 추상화 수준에서 작업하여 사용 편의성과 생산성을 높이고 하드웨어 유형 간에 모델을 이식할 수 있다.

아울러, 가우디 3 PCle 부속(add-in) 카드가 제품군에 새로 추가됐다. 저전력으로 높은 효율성을 제공하도록 맞춤 설계된 새로운 폼팩터는 미세 조정, 추론 및 RAG(retrieval-augmented generation)와 같은 워크로드에 적합하다. 600W의 풀 하이트 폼 팩터로, 128GB의 HBM2e 메모리 용량과 초당 3.7TB의 대역폭을 제공한다.

엔디비아 H100 대비 성능 우월

인텔 가우디 3 가속기는 주요 생성형 AI 모델에 대한 학습 및 추론 작업에서 상당한 성능 향상을 제공할 수 있다고 강조했다.

이를 위해 인텔은 엔비디아 H100 대비 평균적인 비교 성능을 게재했다. 라마(Llama2) 70억개 및 130억개의 매개변수와 GPT-3 1750억개의 매개변수 모델에서 학습 시간 50% 단축, 라마 70억개 및 700억개의 매개변수 모델에서 50% 빠른 추론 처리량(스루풋) 및 40% 향상된 추론 전력 효율성을 제공한다고 주장했다. 라마 70억개 및 700억개 매개변수와 팔콘(Falcon) 1800억개 매개변수 모델에서 엔비디아 H200 대비30% 빠른 추론이 가능하다는 것.

인텔 가우디 3 가속기는 올 2분기 범용 베이스보드 및 개방형 가속기 모듈(OAM)의 산업 표준 구성으로 OEM에 제공될 예정이다. 가우디 3를 시장에 출시할 주요 OEM 업체는 델 테크놀로지스(Dell Technologies), HPE, 레노보(Lenovo), 슈퍼마이크로(Supermicro) 등이다. 인텔 가우디 3 가속기의 GA(General availability)는 올 3분기로 예정됐다. 인텔 가우디 3 PCIe 애드인 카드는 올해 4분기 출시된다.

또한 인텔 가우디 3 가속기는 학습 및 추론을 위한 여러 비용 효율적인 클라우드 LLM 인프라를 지원하여 기업들에게 가격 대비 성능의 이점과 선택권을 제공한다. 개발자는 지금 바로 개발자 클라우드에서 인텔 가우디 2 기반 인스턴스에 액세스해 애플리케이션 및 워크로드를 학습, 프로토타이핑, 테스트 및 실행해볼 수 있다고 설명했다.

한편, 인텔 가우디 3 가속기의 다음 모멘텀은 AI 및 고성능 컴퓨팅(HPC)을 위한 인텔의 차세대 그래픽 처리 장치(GPU)인 팔콘 쇼어(Falcon Shore) 기반이 될 것이다. 팔콘 쇼어는 인텔 가우디와 인텔 Xe IP를 인텔 oneAPI 사양에 기반한 단일 GPU 프로그래밍 인터페이스와 통합할 예정이다.