국민 포털로 출발한 네이버가 다양한 플랫폼과 서비스들로 영역을 대폭 확장하고 있다. 이용자 경험을 위한 체질 개선뿐만 아니라, 중소상공인(SME) 및 창작자들과 이용자들을 연결해 디지털 비즈니스 시너지를 도모하는 데 골몰하는 모습이다. 이용자가 보는 앞단의 변화가 이 정도라면, 개발 뒷단에선 보다 과감하고 치열한 고민이 필요하다. 이에 디지털데일리는 네이버를 움직이는 기술 리더들을 마블 캐릭터에 빗대 ‘네이버 어벤저스’라는 이름을 붙였다. 이들의 연속 인터뷰를 통해 국내 최대 인터넷 기업의 속 깊은 고민과 핵심 경쟁력의 원천을 짚어보고자 한다. <편집자 주>

[디지털데일리 권하영기자] ‘초대규모 AI? 그게 뭔데?’

일반인들에겐 이름도 낯선 ‘초대규모 인공지능(Hyperscale AI)’. 현존하는 최고 AI 기술로 꼽히는 ‘GPT-3’가 대표적인 사례다. GPT-3는 샌프란시스코 AI 연구소인 Open AI가 만든 3세대 언어 예측 모델로, 소위 ‘꿈의 AI’로도 불린다. 단순히 정해진 답을 하는 AI가 아니라, 인간처럼 생각하고 판단하는 능력을 갖춘 것이 핵심이다.

네이버도 최근 국내 기업 최초로 초대규모 AI 언어모델인 ‘하이퍼클로바(HyperCLOVA)’를 개발해 도전장을 냈다. 특히 영어 일색인 이 기술에 최초로 한국어 기반 초대규모 AI 언어모델을 자체 개발해 선보였다는 것은 남다른 의미가 있다. 뿐만 아니라 네이버는 최근 이 언어모델을 검색 서비스에 적용했다. 대규모 데이터를 처리해야 하는 초대규모 AI 언어모델을 상용화한다는 것은 쉽지 않은 작업이다.

이와 관련해 해당 프로젝트를 주도하고 있는 네이버 김선훈 리더 그리고 전동현, 박성현 개발자가 ‘네이버 어벤저스’ 인터뷰에 나섰다. 이들은 네이버 서치 CIC 내 AI 기반 자연어처리 기술을 개발하고 있는 NLP(Natural Language Processing)팀 소속으로, 현재는 TF에서 한국어 기반 AI 언어모델 프로젝트를 이끄는 인물들이다.

◆ 한국어 기반 초대규모 AI 언어모델의 의미는

김선훈 리더는 ‘초대규모 AI’의 정의에 대해 “고품질의 대용량 데이터셋으로 학습된 대용량의 파라미터(parameter·매개변수) 수를 갖는 AI 모델”이라고 설명한다. 이번에 네이버가 개발한 하이퍼클로바는 GPT-3(175B)를 뛰어넘는 204B(2040억개) 파라미터 규모로 개발됐다. AI 모델의 크기를 나타내는 파라미터의 수가 높을수록, AI는 더 많은 문제를 해결할 수 있게 된다.

네이버는 지난해 말, 방대한 데이터를 빠르게 처리할 수 있는 슈퍼컴퓨터를 구축하면서 초대규모 AI 언어모델을 본격적으로 개발했다. 쉽지는 않은 작업이었다. 대규모 데이터를 처리해야 하는 만큼 여러 개의 GPU를 비롯해 많은 양의 리소스와 시간이 소요됐다. 네이버는 이를 관련 인프라팀들과의 긴밀한 협업으로 극복했다. 김 리더는 “인프라팀에서 여러 스펙의 장비를 가지고, 다양한 텍스트의 길이로, 그리고 몇 개의 예제씩 처리할지 등을 다양하게 실험해 성능을 추출했다”면서 “필요한 요구사항에 맞으면서도 효율적으로 활용될 수 있도록 도와주고 있다”고 말했다.

특히 네이버는 하이퍼클로바의 한국어 이해 능력을 대폭 끌어올렸다. GPT-3보다 한국어 데이터를 6500배 이상 학습한, 현재 전세계에서 가장 큰 한국어 초거대 언어모델이다. 기존 초대규모 언어모델의 경우 대부분 영어를 기반으로 제작되었지만, 네이버는 다양한 유형과 다양한 지식을 가진 한국어 데이터와 대규모의 인프라를 활용해 모델을 안정적으로 학습시켰다. 김 리더는 “뿐만 아니라 한국어 모델을 실제 사용자 서비스에 적용할 준비가 되었다는 데 큰 의의가 있다”고 강조했다.

이러한 하이퍼클로바를 네이버 검색 서비스에 적용하게 되면, 그동안 검색 의도를 파악하기 어려웠던 일부 검색어에도 AI가 적절한 검색어를 제안할 수 있게 된다. 예를 들어 사용자가 ‘민들레꽃과냉이차이끛’이라고 검색하더라도 ‘민들레꽃과 냉이꽃 차이’로 자동 변환해 검색 결과를 제공하는 식이다.

김선훈 리더는 “대량의 학습 데이터가 필요했던 기존 방식과 달리, 단 몇 개의 데이터만 제공해주더라도 AI가 스스로 해야 할 업무를 파악하고 결과를 도출하도록 학습시킬 수 있다”면서 “예컨대 ‘민들레꽃과냉이차이끛’을 ‘민들레꽃과 냉이꽃 차이’로 변경해야 된다는 예시를 10개 정도만 제공해줘도 AI가 어떠한 목적의 업무인지 인지하고, 새로운 검색어로 제안을 해줄 수 있게 되는 것”이라고 설명했다.

◆ 초대규모 AI로 ‘검색 결과 0건’ 절반으로 줄인다

네이버는 이번 초대규모 AI 언어모델 적용을 통해 예측 성능을 향상시켜 검색 결과가 ‘0건’인 경우를 올해 절반 수준으로 줄일 계획이다. 박성현 개발자는 “현재는 모델이 아주 크기 때문에 모든 질의를 빠른 속도로 처리하는 데 어려움이 있다”면서 “지속적으로 속도를 높여가고 있으며, 사용자가 불편해하지 않을 정도의 속도로 처리된다면 검색 서비스 사용자의 체감 만족도는 상당히 향상될 것”이라고 언급했다.

뿐만 아니라 네이버는 검색어 제안 서비스를 시작으로 초대규모 AI 언어모델이 적용된 다양한 서비스들을 곧 선보일 예정이다. 올해 6월 적용을 목표로 하고 있는 ‘쇼핑 리뷰 요약’ 서비스는 사용자들이 실제로 사용하고 남긴 리뷰에 대해 ‘만족도’ ‘색상’ 가격‘ 등 테마별로 분류하고, 각 테마별로 클러스터링해 사용자들이 공통적으로 언급하고 공감한 내용을 찾는다. 이렇게 묶인 리뷰들은 초대규모 AI 언어모델을 이용해, 내용을 요약하고 거짓을 얘기하는 리뷰는 아닌지 체크한다.

올 하반기 중에는 자유 형식의 질의응답(Free-form Question Answering)이 가능한 서비스를 선보이는 게 목표다. 이는 다양한 유형의 사용자 질문에 대해 알맞은 답변을 제공하는 것으로, AI 언어모델이 직접 이해한 내용을 기반으로 문장을 생성한다. 전동현 개발자는 “생성된 답변의 사실 여부를 검증하는 부분은 아직 많은 연구개발이 필요하다”며 “그럼에도 기존 기술로는 답하기 어려운 많은 영역의 질문에 대해 언어모델이 알맞은 답을 생성해주는 것을 보고 큰 가능성을 기대하고 있다”고 전했다.

이처럼 과감한 목표를 내세운 데는 조직에 대한 구성원들의 신뢰도 주효했다. 전동현 개발자는 “최고의 동료들과 최고의 인프라 및 데이터를 활용해 개발할 수 있다는 게 네이버 개발자로서 꼽을 수 있는 경쟁력”이라고 강조했다. 그는 “최신의 NLP 기술을 마음껏 연구할 수 있고, 내가 개발한 모델이 실제 사용자에게까지 전달되는 경험을 해볼 수 있다”며 “네이버만큼 실제 사용자들의 피드백을 많이 받고, 그에 맞춰 사용자 중심의 서비스 개선 체계를 가진 회사는 없다고 생각한다”고 자부했다.

김선훈 리더는 “내년에는 초대규모 AI 언어모델이 보다 다양한 검색 상용서비스에 적용되는 것을 목표로 한다”며 “검색 외에도 AI 비서나 대화 기반 서비스 등 여러 동료들이 서비스 적을 준비 중인데, 그렇게 되면 스피커나 네이버 앱에서 음성을 통한 대화나 검색이 지금보다 더 자연스럽게 되지 않을까 생각한다”고 말했다.

<권하영 기자>kwonhy@ddaily.co.kr