e비즈*솔루션

업스테이지, 한국어 특화 '오픈 Ko-LLM 리더보드' 개설

디지털데일리 발행일 2023-09-25 10:19:28
  • 가
  • 가
김보민 기자
[ⓒ 업스테이지]
[ⓒ 업스테이지]

[디지털데일리 김보민 기자] 업스테이지는 한국지능정보사회진흥원(NIA)와 한국어 거대언어모델(LLM)의 성능을 평가하고 비교할 리더보드를 만든다고 25일 밝혔다.

'오픈 코-LLM'(Open Ko-LLM) 라는 이름의 리더보드는 이달 27일 개설된다.

해당 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼으로 자리 잡을 전망이다.

관심이 있는 연구자들은 27일 이후 허깅페이스의 오픈 Ko-LLM 리더보드 스페이스에서 자세한 정보를 확인하고 참여할 수 있다.

업스테이지와 NIA의 오픈 Ko-LLM 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라, 한국어 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서 강점을 확보할 예정이다.

또한 상식을 생성하는 능력을 살펴보는 '상식생성' 기준을 추가해, 한국어 LLM 모델의 성능과 다양성을 평가할 수 있도록 했다.

상식생성은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로, 역사 왜곡·환각 오류·형태소 오류 등 다양한 유형을 포함한 질문지로 구성됐다.

업스테이지는 오픈 Ko-LLM 리더보드를 개설하기까지 KT와의 협업이 큰 역할을 했다고 밝혔다. 업스테이지는 KT 클라우드 인프라 지원을 통해 리더보드를 안정적으로 운영할 계획이다.

김성훈 업스테이지 대표는 "앞으로도 고품질 한국어 데이터 공유는 물론, 리더보드를 통한 협업 촉진과 빠른 기술 전파 등을 통해 한국 인공지능(AI) 생태계를 넓히고 발전을 증진시킬 것"이라고 말했다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
김보민 기자
kimbm@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널

당신이 좋아할 만한 뉴스

많이 본 기사

연재기사

실시간 추천 뉴스