[디지털데일리 김문기 기자] “스냅드래곤8 엘리트에 도입된 차세대 헥사곤 NPU는 전작 대비 최대 45% 더 빠르다. 속도만 빨라진 것이 아니라 배터리 효율까지 챙겼다.”

시디카 네브레카 퀄컴 제품관리 이사는 21일(현지시간) 미국 와일레아 비치 리조트 메리어트에서 열린 퀄컴 스냅드래곤 테크 서밋 2024에서 퀄컴 AI 엔진과 관련한 NPU 성능에 대해 이같이 말했다.

퀄컴 AI 엔진은 향상된 온 디바이스 AI 성능을 위해 한차원 더 업그레이드 됐다. 오라이온 CPU가 AI 엔진에 통합돼 지연 시간이 중요한 작업을 처리하고 다른 AI 작업을 지원한다. 헥사곤(Hexagon) NPU는 추가 코어와 향상된 처리량으로 더 빠른 AI 작업을 가능하다.

네브레카 이사는 “오케스타라에 비유하자면 오라이온 CPU는 뛰어난 지휘자이며, 헥사곤 NPU는 AI의 가장 강렬하고 에너지가 넘치는 중심 무대를 차지한다”라며, “생성형 AI 운영을 위해, 특히, 대형언어모델(LLM) 및 편리한 사용 사례에 대한 증가하는 수요를 충족시키기 위해 스칼라 및 백터 가속기에 더 많은 힘을 부여했다”고 말했다.

아울러, AI 엔진 개선으로 완전히 온디바이스에서 실행되는 맞춤형 멀티모달 AI 시스템을 구현한다. 새로운 대형 멀티모달 모델은 음성-텍스트 변환 과정 없이 상호작용을 간소화해준다. AI 모델의 입력 용량이 확장돼 더 큰 문서, 사진, 오디오 파일을 처리한다.

AI 어시스턴트는 실시간 카메라 뷰를 통해 시각적 데이터를 해석할 수 있는 새로운 상호작용 방식을 제공한다. 그는 “만약 기억에 남는 경기를 관람하고 난 이후 이와 관련된 청구서를 처리하고 싶어할 때 누구도 비용을 지불하려 하지 않을 수 있다. 이 때 카메라를 켜고 청구서를 향하면 AI 비서가 알아서 각 친구들에게 이를 나눠 낼 수 있도록 도와준다”고 설명했다.

퀄컴 센싱 허브는 개인화된 AI 경험을 위해 개인 데이터를 더 효율적으로 가져오는 성능을 향상시켰다. 전작 대비 약 60% 더 빠른 성능을 보여준다. 이는 더 나은 효율성을 위해 34% 더 많은 메모리를 추가했기에 가능해졌다.

스냅드래곤 8 엘리트는 AI 기반 사진 확장 및 초해상도 같은 고급 AI 카메라 기능도 도입했다. AI 세그멘테이션은 사진 속 개별 객체를 식별하고 향상시켜 품질을 개선시켰다. 새롭게 설계된 AI ISP는 헥사곤 NPU와 통합돼 실시간 AI 이미지 처리를 제공한다.

카메라 기능은 AI를 통해 자동초점과 자동노출, 자동 화이트 밸런스 등을 개선했다. 스냅드래곤 8 엘리트는 픽셀 처리량을 35% 향상시켜 348MP 센서에서 초당 30프레임으로 동시 녹화를 지원한다.

헥사곤 NPU는 원시 센서 데이터를 직접 접근해 4K 60fps에서 실시간 이미지 처리가 가능해졌다.

카리나 아피니토 퀄컴 제품 마케팅 스태프 매니저는 “과거 사진을 찍으면 ISP가 이미지 처리를 한 다음에 세분화된 네트워크로 후처리를 위해 NPU로 전달했지만, 이제부터는 AI ISP가 근본적으로 헥사곤 NPU와 함께 작동하도록 설계됐다”라며, “더 정확한 결과와 전례 없는 유연성을 제공하는 셈이다. 이미지를 확대하면 더 놀라운 수준의 세부 정보를 볼 수도 있다”고 말했다.

인사이트 AI는 무한 세분화 및 실시간 조명 조절과 같은 고급 AI 사진 기능을 지원한다. AI 기반 동영상 객체 지우기 기능으로 클라우드 처리 없이 동영상에서 객체 지우기도 할 수 있다.

아파니토 매니저는 “소니 반도체 솔루션과 공동 연구를 통해 소니 이미지 센서를 지원한다. 최신 HDR 센서 기술을 공유할 수 있게 됐다”라며, “삼성 아이소셀의 경우 최신 컬러 필터 어레이 기술을 사용할 수 있다”고 설명했다.

그는 “스냅드래곤8 엘리트는 다양한 파트너사들과 함께 어느 때보다 생생하고 혁신적이며 신뢰할 수 있는 결과물을 내놓을 수 있게 됐다”라며, “전례없는 방식으로 세상을 포착하기를 바란다”고 말했다.