[디지털데일리 김문기 기자] “모든 RTX GPU에 텐서코어를 넣었다. 1억대의 지포스 RTX AI PC가 있는 셈이다.”

젠슨 황 엔비디아 창립자 겸 CEO는 2일(현지시간) 대만 타이베이에 위치한 국립 타이베이 대학교 스포츠센터에서 엔비디아 컴퓨텍스 2024 기조연설을 갖고 새로운 엔비디아 RTX 기술을 발표하며 이같이 말했다. 새로운 AI 비서와 디지털 휴먼 기능을 지포스 RTX AI 노트북에서 실행할 수 있도록 지원한다.

엔비디아는 PC 게임과 앱에서 맥락을 인식해 도움을 제공하는 RTX 기반 AI 비서 기술 데모인 프로젝트 G-어시스트(Project G-Assist)를 공개했다. 프로젝트 G-어시스트 기술 데모는 스튜디오 와일드카드의 게임 ‘아크: 서바이벌 어센디드’에서 처음 공개됐다.

이 기술은 엔비디아 RTX AI 툴킷(RTX AI Toolkit)을 통해 구현됐다. 엔비디아 RTX AI 툴킷은 개발자들이 윈도우 PC에서 대규모 생성형 AI 모델을 최적화하고 배포할 수 있도록 지원하는 새로운 도구와 소프트웨어 개발 키트 모음이다. 이는 엔비디아의 RTX AI기술과 함께 500개 이상의 PC 애플리케이션과 게임, 200개 이상의 제조업체 노트북 디자인을 가속화하는 엔비디아의 풀스택 RTX 혁신에 추가된다.

에이수스(ASUS)와 MSI에서 발표한 최신 RTX AI PC 노트북은 최대 지포스 RTX 4070 GPU까지 탑재했다. 전력 효율적인 시스템 온 칩(SoC)기술을 사용해 윈도우 11 AI PC 기능을 지원한다. 이러한 윈도우 11 AI PC는 코파일럿+(Copilot+) PC 환경으로 무료 업데이트를 받을 수 있다.

제이슨 폴 엔비디아 소비자 AI 부문 부사장은 "엔비디아는 2018년 RTX 텐서 코어 GPU와 엔비디아 DLSS 기술을 출시해 AI PC 시대를 열었다. 이제 엔비디아는 프로젝트 G-어시스트와 엔비디아 ACE를 통해 1억 명 이상의 RTX AI PC 사용자를 위한 차세대 AI 기반 경험을 선사할 것”이라고 말했다.

AI 비서 기술은 게임 전략 제공, 멀티플레이어 리플레이 분석에서부터 복잡한 크리에이티브 워크플로우를 지원한다. 프로젝트 G-어시스트는 생성형 AI를 활용해 게이머가 손쉽게 게임 지식에 접근할 수 있도록 지원한다.

프로젝트 G-어시스트는 플레이어의 음성이나 텍스트 입력, 게임 화면의 상황 정보를 활용해 AI 비전 모델로 데이터를 처리한다. 이 모델은 게임 지식 데이터베이스에 연결된 거대 언어 모델(LLM)의 상황 인식과 특정 애플리케이션에 대한 이해도를 향상시킨다. 이후 텍스트나 음성으로 맞춤형 응답을 생성한다.

엔비디아는 '아크: 서바이벌 어센디드'에 이 기술을 적용하기 위해 스튜디오 와일드카드와 협력했다. 프로젝트 G-어시스트는 크리처, 아이템, 스토리, 목표, 어려운 보스 전투 등에 대한 답변을 지원할 수 있다.

프로젝트 G-어시스트는 플레이어의 게이밍 시스템을 최적의 성능과 효율로 최적화할 수 있다. 또한 성능 지표 분석, 사용자 하드웨어 사양에 맞춘 그래픽 설정 최적화, 안전한 오버클럭 적용이 가능하며 성능 목표를 유지하면서도 지능적으로 전력 소비를 줄일 수 있다.

디지털 휴먼 구현을 위한 엔비디아 ACE 기술이 엔비디아 NIM이 탑재된 RTX AI PC와 워크스테이션에 도입된다. 엔비디아 NIM은 개발자의 배포 시간을 몇 주에서 몇 분으로 줄일 수 있게 지원하는 추론 마이크로서비스다. ACE NIM 마이크로서비스는 기기 내부에서 자연어 이해, 음성 합성, 페이셜 애니메이션 등을 위한 고품질 추론을 제공한다.

이번 컴퓨텍스에서 엔비디아는 인월드 AI와 협력하여 개발된 코버트 프로토콜(Covert Protocol) 기술 데모를 통해 엔비디아 ACE NIM을 PC 게이밍에 처음 선보인다. 이 데모는 엔비디아 오디오투페이스와 엔비디아 리바(Riva) 자동 음성 인식 기술이 기기에서 로컬로 실행되는 모습을 보여줬다.

엔비디아는 마이크로소프트와 협력해 개발자가 네이티브 윈도우 운영체제와 웹 앱에 새로운 생성형 AI 기능을 도입할 수 있도록 지원하고 있다. 이 협력으로 애플리케이션 개발자는 검색 증강 생성(retrieval-augmented generation, RAG) 기능을 지원하는 GPU 가속 소형 언어 모델(SLM)에 쉽게 API(application programming interface)로 액세스할 수 있다. 이 기능들은 윈도우 코파일럿 런타임 플랫폼의 일부로 장치 내에서 직접 실행된다.

SLM은 콘텐츠 요약, 콘텐츠 생성, 작업 자동화를 비롯해 윈도우 개발자에게 무한한 가능성을 제공한다. RAG 기능은 SLM에 추가돼 AI 모델에 기본 모델에서 잘 표현되지 않는 도메인 특화 정보에 대한 액세스를 제공한다. 개발자는 RAG API를 통해 애플리케이션 특화 데이터 소스를 효과적으로 활용하고 SLM 동작과 기능을 애플리케이션 요구 사항에 맞게 조정할 수 있다.

이같은 AI 기능은 엔비디아 RTX GPU와 다양한 하드웨어 공급업체의 AI 가속기를 통해 가속된다. API는 올해 말 개발자 프리뷰 형태로 출시될 예정이다.

AI 생태계는 앱 개발자가 활용할 수 있는 수많은 오픈소스 모델이 구축돼 있지만, 대부분의 모델은 범용 목적으로 사전 훈련됐으며 데이터 센터에서 실행되도록 설계됐다.

엔비디아는 개발자들이 PC에서 실행되는 애플리케이션 특화 AI 모델을 구축할 수 있도록 지원하는 RTX AI 툴킷을 출시한다. RTX AI 툴킷은 RTX AI PC에서 모델을 맞춤화, 최적화, 배포하기 위한 도구와 SDK 제품군으로 구성된다. 6월 말부터 더 많은 개발자가 RTX AI 툴킷을 활용할 수 있다.

개발자는 오픈 소스 QLoRa 도구를 사용해 사전 훈련된 모델을 맞춤화할 수 있다. 이후 엔비디아 텐서RT 모델 옵티마이저로 모델을 정량화해 RAM 사용량을 최대 3배 절감할 수 있다. 엔비디아 텐서RT 클라우드는 RTX GPU 라인업에 맞춰 모델을 최적화함으로써 높은 성능을 제공한다. 이는 사전 훈련된 모델에 비해 최대 4배 빠른 성능이다.

현재 얼리 액세스에서 사용할 수 있는 새로운 엔비디아 AI 추론 매니저는 PC에 ACE를 배포하는 과정을 단순화한다. 또한 필요한 AI 모델, 엔진, 종속성으로 PC를 사전 구성하는 동시에 PC와 클라우드 전반에서 AI 추론을 원활하게 조율한다.

어도비(Adobe), 블랙매직 디자인(Blackmagic Design), 토파즈(Topaz)와 같은 소프트웨어 파트너들은 RTX PC에서 AI 성능을 가속화하기 위해 RTX AI 툴킷의 구성 요소를 인기 있는 크리에이티브 앱에 통합하고 있다.

텐서RT-LLM을 비롯한 RTX AI 툴킷의 구성 요소는 오토매틱1111(Automatic1111), 컴파이UI(ComfyUI), Jan.AI, 랭체인(LangChain), 라마인덱스(LamaIndex), 우바부가(Oobabooga), 생텀.AI(Sanctum.AI) 등 생성형 AI를 위한 인기 있는 개발자 프레임워크와 애플리케이션에 통합돼 있다.

엔비디아는 RTX AI 가속을 크리에이터, 모더, 영상 애호가를 위한 애플리케이션에도 통합하고 있다. 지난해 엔비디아는 가장 인기 있는 스테이블 디퓨전(Stable Diffusion) 사용자 인터페이스 중 하나인 오토매틱1111에 텐서RT를 활용한 RTX 가속을 도입했다. 이번 주부터는 인기를 끌고 있는 컴파이UI에도 RTX 가속 기술을 도입, 현재 배포 중인 버전보다 최대 60% 향상되고 맥북 프로 M3 맥스 대비 7배 빠른 성능을 제공한다는 설명이다.

엔비디아 RTX 리믹스(RTX Remix)는 풀 레이 트레이싱, 엔비디아 DLSS 3.5, 물리적으로 정확한 머티리얼 등을 적용해 다이렉트X 8(DirectX 8)과 다이렉트X 9 기반 클래식 게임을 리마스터링할 수 있는 모딩 플랫폼이다. RTX 리믹스에는 런타임 렌더러와 RTX 리믹스 툴킷(RTX Remix Toolkit) 앱이 포함돼 게임 자산과 머티리얼을 쉽게 모딩할 수 있도록 지원한다.

지난해 엔비디아는 RTX 리믹스 런타임(RTX Remix Runtime)을 오픈소스로 공개해 모더가 게임 호환성을 확장하고 렌더링 기능을 향상시킬 수 있도록 했다.

올해 초 RTX 리믹스 툴킷 출시 이후 약 2만명의 모더가 클래식 게임을 수정하는 데 이 툴킷을 사용했다. 그 결과 100개 이상의 RTX 리마스터가 RTX 리믹스 쇼케이스 디스코드(RTX Remix Showcase Discord)에서 개발 중에 있다.

이달 엔비디아는 RTX 리믹스 툴킷을 오픈 소스로 공개할 예정이다. 이로써 모더의 애셋 교체와 장면 조정 방식을 간소화하고, RTX 리믹스의 애셋 인제스터(ingester)가 지원하는 파일 형식을 늘리고, 새로운 모델을 통해 RTX 리믹스의 AI 텍스처 툴(AI Texture Tools)을 강화할 수 있도록 지원한다.

또한 REST API를 통해 RTX 리믹스 툴킷 기능에 액세스할 수 있도록 함으로써 모더가 블렌더(Blender) 등의 디지털 콘텐츠 제작 도구, 해머(Hammer) 등의 모더 도구, 컴파이UI등의 생성형 AI 앱에 RTX 리믹스를 연동할 수 있도록 지원한다. 더불어 RTX 리믹스의 렌더러를 다이렉트X 8, 다이렉트X 9 클래식 게임 외에도 다른 애플리케이션과 게임에 배포할 수 있도록 RTX 리믹스 런타임에 대한 SDK를 제공하고 있다.

엔비디아 RTX 비디오(RTX Video)가 이제 모든 개발자에게 SDK로 제공된다. 이로써 업스케일링, 선명도 향상(sharpening), 압축 아티팩트 제거, HDR(High-Dynamic Range) 변환을 위한 AI기술을 네이티브로 통합할 수 있게 됐다. 엔비디아 RTX 비디오는 구글 크롬(Google Chrome), 마이크로소프트 엣지(Microsoft Edge), 모질라 파이어폭스(Mozilla Firefox) 브라우저에서 지원되는 AI 기반 초해상도 기술이다.

RTX 비디오는 영상 편집 소프트웨어인 블랙매직 디자인의 다빈치 리졸브(DaVinci Resolve)와 원더쉐어 필모라(Wondershare Filmora)에 곧 도입될 예정이다. 이로서 영상 편집자는 저화질 비디오 파일 4K 해상도 업그레이드와 SDR(standard dynamic range) 소스 파일 HDR 변환을 지원받을 수 있다. 더불어 무료 미디어 플레이어 VLC 미디어도 곧 RTX 비디오 HDR을 기존 초고해상도 기능에 추가할 예정이다.