[디지털데일리 이종현기자] 인공지능(AI) 기업 플리토와 업스테이지가 아시아권역 저자원 언어 수집 및 데이터셋 구축을 위해 협력한다.

9일 플리토는 업스테이지와 AI 언어 데이터 구축을 위한 업무협약을 체결했다고 밝혔다. 태국어, 일본어, 베트남어, 라오스어, 크메르어 등 아시아권역 언어에 대한 데이터셋을 구축하는 것이 골자다.

체결된 협약 사항은 ▲한국어 대규모언어모델(LLM) 리더보드 ‘Ko-LLM’ 벤치마크 데이터셋 구축 협력 ▲다국어 LLM 리더보드 운영 협력 ▲저자원 언어 데이터 구축 및 저자원 언어 활용을 통한 LLM 현지화 ▲기업 도입 소형언어모델(SLM) 구축에 따른 데이터 공급 파트너십 강화 등이다.

플리토는 이번 협약을 바탕으로 언어 데이터와 AI 기술 간의 시너지를 통해 언어 모델의 고도화에 기여한다는 목표다. 또 다국어 병렬 말뭉치 구축 노하우와 저작권 이슈가 없는 텍스트·이미지·음성 데이터셋을 통해 자사 언어 수집 기술 경쟁력 확보도 꾀한다.

업스테이지는 고품질의 저자원 언어 데이터를 확보, 자사 LLM ‘솔라’의 지원 언어를 더욱 확장해 동남아시아 등 다양한 지역별 언어에 특화된 맞춤형 모델을 개발하겠다는 전략이다. 솔라는 현재 한국어, 영어를 지원하며, 연내 일본어와 태국어까지 지원 언어를 확대할 예정이다.

플리토 이정수 대표는 “저자원 언어 학습 분야는 LLM 성능의 핵심 요소로 부상했다. 양사 협력을 통해 고품질 데이터와 고도화된 기술 간의 접목이 국내 생성형 AI 생태계에 얼마나 긍정적인 기여를 할 수 있는지 보이자고 한다”고 말했다.

업스테이지 김성훈 대표는 “언어모델로 촉발된 생성형 AI 열풍이 전세계를 뒤흔들고 있는 상황에서 양질의 언어 데이터 확보는 필수적인 과제”라며 “업스테이지는 이번 플리토와의 협력을 통해 전세계 더 많은 사람들이 생성형 AI 혁신을 경험할 수 있도록 데이터 고도화에 나설 것”이라고 전했다.