[디지털데일리 오병훈기자] 최근 인공지능(AI) 기술이 빠르게 발전하면서, 국내 검색 시장을 주도하는 네이버도 고민이 깊어졌다. 생성형 AI를 앞세운 검색 전문 AI 서비스가 우후죽순 등장하기 시작하면서, 언어모델(LM)을 잘 활용하는 기업이 살아남는 시대가 왔기 때문이다. 국내 대표 검색 서비스 기업 자리를 지키고 있는 네이버 입장에서 절대 놓쳐서는 안 될 기술이 바로 LM인 셈이다.

권오준 네이버 검색 데이터플랫폼 개발자는 12일 삼성 코엑스 그랜드볼룸에서 개최된 네이버 개발자 콘퍼런스 ‘단24’에서 검색 기능 향상을 위한 방법론을 제시하면서 “검색 품질을 높이는데 있어서 기반이 되는 1개 모델을 여러 차례 활용하기보다는 다른 종류 모델을 결합하는 것이 효율적”이라고 강조했다.

그는 먼저 LLM 발전 이전 수동 개발 환경이 가지는 한계에 대해 지적했다. 앞서 네이버는 외부 인력을 투입해 검색 품질 수준을 평가하는 방식으로 검색 성능 개선 작업을 이어왔다. 예컨대 작업자가 ‘손흥민’을 검색하고 ‘손흥민 아버지’가 나오는 것은 연관성이 높은 검색 결과이며, ‘신도림 맛집’ 등 엉뚱한 결과가 나오는 것은 품질이 낮은 검색 결과인 셈이다.

권 개발자는 “이같은 수동형 품질 모델링 평가 방식은 작업자 간 의견 불일치 등 문제가 있어서 정확도를 높이는데 한계가 있었다”며 “검색 정확도가 일정 구간에 들어서자 아무리 비용을 높여도 그 통계적으로 한계를 뛰어넘지 못했다”고 설명했다.

이에 네이버 검색 서비스 개발자들이 도입한 것은 바로 ‘LLM 기반 임베딩 모델’이다. 임베딩 모델이란 단어·문장을 고정된 차원 수치 벡터로 변환하는 역할을 한다. 다시 이 벡터 표현은 단어 간 의미적 유사성과 관계를 반영하도록 학습되며 연관성을 찾아가는 방식이다. LLM을 기반으로 각 단어를 연관성에 따라 묶고, 이를 다시 순위 매기는 ‘리랭킹’ 시스템 등이 함께 작동한다.

예를 들어 ‘흑백요리사 우승자’라는 검색어에는 연관성이 깊은 ‘맛피아’ ‘밤티라미수’등이 하나의 묶음으로 학습되고, 전혀 상관없는 ‘신도림 치과’는 네거티브로 거리를 두는 식이다.

그는 “연관성을 구분 짓기 위해 포지티브페어(연관성이 깊은 단어 모음)와 네거티브(연관성이 낮은 단어 모음), 그 중간인 하드네거티브 등 3가지로 데이터를 분류하는 작업을 진행하게 된다”며 “이후 1위부터 연관성 순위를 나열하는 과정을 거쳐 한번 더 검색 품질을 높이는 작업(리랭킹)을 진행했다”고 말했다.

아울러 권 개발자는 한 가지 모델로 앙상블(여러 LLM을 활용)하기보다는 다양한 모델을 결합해 사용하는 것이 더욱 효율적이라고 강조했다. LLM 기반 임베딩 모델에 더불어 클릭수에 따라 데이터 품질을 구분하는 클릭 추적 모델을 곁들일 경우 유의미한 성능 향상을 보인다는 설명이다.

그는 “직접 개발해 보니 하나 생성형 모델, 리랭킹 모델만 5개를 활용해 앙상블을 하는 것보다 다양한 각각 모델을 하나씩 이용해 앙상블 했을 때 성능이 유의미하게 더 높았다”고 전했다.

네이버는 멀티모달 기술을 활용한 검색 품질 평가 기술도 준비 중이다. 이미지를 해석할 수 있는 멀티모달 AI를 통해 검색 결과 캡처 화면만 AI에게 전달해 검색 결과 품질을 자동으로 판단하는 것이다.

권 개발자는 “검색품질 평가 기준도 다양화할 예정”이라며 “연관 강도 뿐 아니라 문서 신뢰도와 가독성 등까지 평가해 검색 결과 질 수준을 끌어올리는 것을 목표로 하고 있다”고 말했다.