엔비디아, 가속화된 생성형 AI 위한 그레이스 호퍼 슈퍼칩 본격 생산 시작

[디지털데일리 김문기 기자] 엔비디아(CEO 젠슨 황)가 대만 컴퓨텍스 2023을 통해 챗GPT 등 다가오는 인공지능(AI) 시대를 대비한 가속화 솔루션을 대거 공개했다.

우선 엔비디아는 대용량 메모리 AI 슈퍼컴퓨터 DGX GH200을 30일 발표했다. 엔비디아 DGX 슈퍼 컴퓨터는 엔비디아 GH200 그레이스 호퍼 슈퍼칩과 엔비디아 NVLink 스위치 시스템을 탑재하고, 생성형 AI 언어 애플리케이션과 추천 시스템, 데이터 애널리틱스 워크로드에 사용될 차세대 거대 모델들의 개발을 지원한다.

방대한 공유 메모리 공간은 NVLink 인터커넥트 테크놀로지와 NVLink 스위치 시스템으로 GH200 슈퍼칩 256개를 결합해 단일 GPU로 기능하게 한다. 이를 통해 1엑사플롭(exaflop)의 성능과 144테라바이트의 공유 메모리를 제공하는데, 이는 단일 엔비디아 DGX A100 시스템 메모리의 500배에 가까운 용량이다.

GH200 슈퍼칩은 엔비디아 NVLink-C2C 칩 인터커넥트를 이용해 ARM 기반 엔비디아 그레이스 CPU와 엔비디아 H100 텐서 코어 GPU를 동일 패키지에 결합한다. GPU와 CPU 간 대역폭이 최신 PCIe 기술 대비 7배까지 증가해 상호 연결에 필요한 전력 소비가 5배 넘게 절감된다는 설명이다. DGX GH200 슈퍼컴퓨터를 위한 600GB의 호퍼 아키텍처 GPU 빌딩 블록이 확보된다.

DGX GH200은 그레이스 호퍼 슈퍼칩과 엔비디아 NVLink 스위치 시스템을 페어링하는 최초의 슈퍼컴퓨터다. 이를 바탕으로 DGX GH200 시스템 내 모든 GPU가 하나로 작동한다. 이전 세대 시스템에서는 NVLink를 사용해 성능의 저하 없이 결합 가능한 GPU의 개수가 8개에 불과했다.

구글 클라우드와 메타, 마이크로소프트는 DGX GH200을 도입해 생성형 AI 워크로드 역량을 탐구한다. 엔비디아는 또한 클라우드 서비스 제공업체와 기타 하이퍼스케일러가 DGX GH200 설계를 청사진으로 삼아 자체 인프라로 커스터마이징 할 수 있도록 지원할 방침이다.

◆엔비디아 GH200 그레이스 호퍼 슈퍼칩 양산

엔비디아 GH200 그레이스 호퍼 슈퍼칩은 양산에 돌입해 오는 하반기부터 출시된다.

GH200 기반 시스템은 엔비디아 그레이스(Grace), 엔비디아 호퍼(Hopper), 엔비디아 에이다 러브레이스(Ada Lovelace), 엔비디아 블루필드(BlueField)를 포함한 엔비디아의 최신 CPU 및 GPU 아키텍처를 기반으로 하는 400개 이상의 시스템 구성에 추가되어, 급증하는 생성형 AI에 대한 수요를 충족하도록 지원한다.

최신 엔비디아 기술 기반 시스템을 도입하는 전 세계의 여러 시스템 제조업체 중에는 애온(AAEON), 어드밴텍(Advantech), 에티나(Aetina), 애즈락랙(ASRock Rack), 에이수스(ASUS), 폭스콘 인더스트리얼 인터넷(FII), 인벤텍(Inventec), 페가트론(Pegatron), QCT, 타이안(Tyan), 위스트론(Wistron), 위윈(Wiwynn)과 같은 대만 제조업체들이 있다. 이 기업들은 모두 젠슨 황의 컴퓨텍스 기조연설에서 주요 파트너로 소개됐다.

글로벌 서버 제조업체인 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 기가바이트(GIGABYTE), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo), 슈퍼마이크로(Supermicro), 아토스(Atos) 자회사인 에비든(Eviden)은 다양한 엔비디아 가속 시스템을 제공하고 있다.

엔비디아 그레이스, 호퍼, 에이다 러브레이스 아키텍처로 가속되는 시스템 포트폴리오는 엔비디아 AI, 엔비디아 옴니버스(Omniverse) 플랫폼, 엔비디아 RTX 기술을 포함하는 엔비디아 소프트웨어 스택에 대한 광범위한 지원을 제공한다. 엔비디아 AI 플랫폼의 소프트웨어 계층인 엔비디아 AI 엔터프라이즈(AI Enterprise)는 100개 이상의 프레임워크, 사전 훈련된 모델 및 개발 도구를 제공하여 생성형 AI, 컴퓨터 비전 및 음성 AI를 포함한 프로덕션 AI의 개발 및 배포를 간소화한다.

GH200 슈퍼칩이 탑재된 시스템은 하반기부터 출시될 예정이다.

◆소프트뱅크와 생성형 AI 협력

엔비디아는 생성형 AI와 5G/6G 애플리케이션을 위한 선구적인 플랫폼에 대한 소프트뱅크와의 협력을 발표했다. 소프트뱅크는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 기반으로 하는 해당 플랫폼을 일본 전 지역의 새로운 분산 AI 데이터센터에 배포할 계획이다.

소프트뱅크는 생성형 AI 애플리케이션과 서비스를 전세계에 신속하게 배포할 수 있는 기반을 구축한다. 엔비디아와의 협력을 통해 다중 테넌트 공통 서버 플랫폼에서 생성형 AI와 무선 애플리케이션을 호스트할 수 있는 데이터센터를 구축하여 비용을 줄이고 에너지 효율성을 높일 계획이다.

이 플랫폼은 ARM 네오버스(Neoverse) 기반 GH200 슈퍼칩과 함께 새로운 엔비디아 MGX 참조 아키텍처를 사용하며, 애플리케이션 워크로드의 성능, 확장성, 리소스 활용도를 개선할 것으로 기대된다.

엔비디아 MGX, 전 세계 데이터센터의 다양한 가속 컴퓨팅 요구사항 충족하는 모듈식 아키텍처 제공

◆엔비디아 MGX 서버 사양 발표

엔비디아는 전 세계 데이터센터의 다양한 가속 컴퓨팅 요구에 부응하기 위한 엔비디아 MGX 서버 사양을 발표했다. 해당 사양은 시스템 제조사에 모듈식 참조 아키텍처를 제공해 인공지능, 고성능 컴퓨팅(HPC), 옴니버스 애플리케이션에 맞는 다양한 서버 변형을 빠르고 경제적으로 구축할 수 있게 한다.

애즈락랙, 에이수스, 기가바이트, 페가트론, QCT, 는 MGX를 도입해 개발 비용을 최대 4분의 3 가량 줄이고, 개발 시간도 3분의 2가량 줄여 6개월까지 단축할 수 있을 전망이다.

제조사는 MGX를 통해 서버 섀시의 가속 컴퓨팅에 최적화된 기본 시스템 아키텍처로 시작한 다음, GPU, DPU, CPU를 선택할 수 있다. 설계 변형은 HPC, 데이터 사이언스, 대규모 언어 모델(LLM), 엣지 컴퓨팅, 그래픽 및 비디오, 기업용 AI, 설계 및 시뮬레이션과 같은 고유한 워크로드를 처리할 수 있다. AI 훈련, 5G와 같은 여러 작업을 단일 시스템에서 처리할 수 있으며, 손쉽게 차세대 하드웨어로 업그레이드할 수 있다. MGX는 또한 클라우드, 엔터프라이즈 데이터센터에 통합될 수 있다.

QCT와 슈퍼마이크로는 오는 8월에 공개되는 MGX 설계를 적용한 제품을 최초로 시장에 출시하는 기업이다. 이번에 발표된 슈퍼마이크로의 ARS-221GL-NR 시스템에는 엔비디아 그레이스 CPU 슈퍼칩이 포함되며, QCT의 S74G-2U 시스템에는 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 포함될 예정이다.

◆엔비디아 스펙트럼-X 출시

스펙트럼-X는 이더넷 기반 AI 클라우드의 성능과 효율을 개선하도록 고안된 가속 네트워킹 플랫폼이다. 엔비디아 스펙트럼-4 이더넷 스위치와 엔비디아 블루필드-3 DPU를 결합한 네트워킹 혁신을 기반으로 구축된다.

전반적인 AI 성능과 전력 효율이 1.7배 개선됐으며, 멀티 테넌트 환경에서 지속적이고 예측 가능한 성능을 제공한다는게 엔비디아의 설명이다. 엔비디아 가속 소프트웨어와 소프트웨어 개발 키트(SDK)에 힘입어 소프트웨어 정의, 클라우드 네이티브의 AI 애플리케이션 구축이 가능하다.

엔드 투 엔드 기능을 통해 트랜스포머 기반 생성형 AI 모델들의 실행 시간을 단축한다. 네트워크 엔지니어와 AI 데이터 과학자, 클라우드 서비스 제공업체들은 결과를 개선하고 정보에 입각한 결정을 더욱 신속히 내릴 수 있게 된다.

엔비디아는 스펙트럼-X 레퍼런스 디자인의 청사진과 시험대 역할을 할 이스라엘-1을 개발 중이다. 이스라엘 데이터센터에 구축될 하이퍼스케일 생성형 AI 슈퍼컴퓨터인 이스라엘-1은 엔비디아 HGX H100 8-GPU 플랫폼과 블루필드-3 DPU, 스펙트럼-4 스위치 기반의 델 파워엣지 XE9680 서버들에 배포될 예정이다.

엔비디아 스펙트럼-X와 스펙트럼-4 스위치, 블루필드-3 DPU, 400G LinkX 옵틱스는 현재 사용 가능하다.

엔비디아 생성형 AI와 옴니버스, 세계적인 전자 제조업체의 최첨단 공장 디지털화 지원

◆생성형 AI와 옴니버스…전자 제조업체 최첨단 공장 디지털화 지원

엔비디아는 레퍼런스 워크플로우로 산업 디지털화를 가속하는 세계적인 전자 제조업체들을 발표했다. 해당 레퍼런스 워크플로우는 생성형 AI와 3D 협업, 시뮬레이션과 자율화 기기 관련 엔비디아(NVIDIA) 기술을 새롭고 포괄적으로 결합했다.

광범위한 파트너 네트워크와 엔비디아 기술로 제조사들의 공장 설계와 건설, 운영과 최적화를 돕는다. 이 워크플로우에는 최고로 손꼽히는 컴퓨터 보조 디자인 앱을 비롯해 생성형 AI를 위한 최첨단 프레임워크와 API를 연결하는 엔비디아 옴니버스, 로봇의 시뮬레이션과 검증을 위한 엔비디아 아이작 심 애플리케이션, 그리고 자동 광학 검사가 가능한 엔비디아 메트로폴리스 비전 AI 프레임워크가 포함된다.

새로운 레퍼런스 워크플로우로 자사 워크셀과 조립 라인 운영의 최적화와 생산비 절감을 꾀하고 있는 전자 제조업체는 폭스콘 인더스트리얼 인터넷과 이노디스크, 페가트론, 콴타, 위스트론이다.

◆게임용 아바타 클라우드 엔진 발표

맞춤형 AI 모델 파운드리 서비스인 게임용 엔비디아 아바타 클라우드 엔진(ACE)을 발표했다. 엔비디아 게임용 ACE는 AI 기반 자연어 상호 작용을 통해 NPC(non-playable character)에 인텔리전스를 부여했다.

게임용 ACE를 사용해 미들웨어, 툴, 게임 개발자는 소프트웨어와 게임에 맞춤형 음성, 대화, 애니메이션 AI 모델을 구축 및 배포할 수 있다.

엔비디아 네모는 자체 데이터를 사용해 언어 모델을 구축, 맞춤, 배포한다. 대규모 언어 모델은 기존 지식과 캐릭터 배경 스토리로 맞춤화할 수 있으며 네모 가드레일(NeMo Guardrails)을 통해 비생산적이거나 안전하지 않은 대화로부터 보호할 수 있다.

엔비디아 리바(Riva)는 자동 음성 인식 및 텍스트 음성 변환을 통해 실시간 음성 대화를 지원한다. 엔비디아 옴니버스 오디오투페이스는 게임 캐릭터의 표정 애니메이션을 모든 음성 트랙과 일치하도록 즉시 생성한다. 오디오투페이스는 언리얼 엔진 5용 옴니버스 커넥터를 갖추고 있어, 얼굴 애니메이션을 메타휴먼 캐릭터에 직접 추가할 수 있다.

개발자는 엔비디아 게임용 ACE 솔루션 전체를 통합하거나 필요한 구성요소만 사용할 수 있다. 게임용 엔비디아 ACE를 가능하게 하는 신경망은 다양한 크기, 성능, 품질 조정을 통해 여러 기능에 최적화되어 있다. 게임용 ACE 파운드리 서비스를 통해 게임용 모델을 미세 조정한 다음 실시간 추론을 위해 엔비디아 DGX 클라우드, 지포스 RTX PC 또는 온프레미스를 통해 배포할 수 있다.