[디지털데일리 이건한 기자] AI 테크 기업 크라우드웍스가 '생성형AI 신뢰성 평가 프레임워크 개발' 사업에 착수했다.

크라우드웍스는 한국정보통신기술협회(TTA)가 주관하는 '생성형 AI 신뢰성 평가의 실용적 접근 방안 연구' 사업을 수주했다고 17일 밝혔다. 자연어 처리 솔루션 전문 스타트업 테디썸과 연세대학교 김한샘 교수 연구팀 등 3개사가 컨소시엄을 이뤄 참여한다.

이번 사업의 목표는 생성형 AI의 안전성 및 신뢰성 확보를 위한 가이드라인 마련을 위한 '생성형 AI 신뢰성 평가 프레임워크 개발 및 확산'이 목표다. 우선 연구마다 다르게 정의되고 있는 생성형 AI에 대한 주요 위험요소 정의를 체계화한다. 또한 사회·문화적 특성을 고려하여 실용적인 신뢰성 평가 프레임워크를 개발함으로써 생성형AI의 위험과 부작용을 최소화한다.

사업 범위는 ▲생성형 AI 위험 정의 및 분류 체계화 ▲위험-평가 매트릭 매핑 구조 설계 ▲레드팀 테스팅 기법 수집 및 교육자료 작성 ▲평가 메커니즘 설계 ▲평가 방안의 실용성 파악을 위한 시범 적용 등이다. 크라우드웍스는 하이퍼클로바X, 엑사원 등 LLM(거대언어모델) 학습데이터 구축 및 모델 평가 검증 사업을 다수 수행한 경험과 sLLM(경량화 거대언어모델) 웍스원을 개발한 기술 전문성을 바탕으로 생성형AI 평가 프레임워크의 확산을 위한 교육자료 개발 및 프레임워크 실증을 맡는다.

또한 국내외 레드팀 테스팅 기법을 수집해 데이터를 바탕으로 악의적 프롬프트 특징과 패턴을 도출하고, 공격 프롬프팅 기법 및 유형 분석 내용이 포함된 레드팀 교육 가이드를 마련한다. 이 밖에도 생성형 AI 신뢰성 평가 프레임워크 가이드의 실증을 위해 국내 AI 모델을 대상으로 실제 공격을 수행하고 개선점 및 대응방안을 제시할 예정이다.

김우승 크라우드웍스 대표는 "AI 신뢰성과 안전성 평가 프레임워크는 AI 평가 표준화를 가속하고 AI의 상호운용성, 호환성을 높여 AI 산업 발전 속도를 높이게 될 것"이라며 "AI 신뢰성 기술 영역에서도 리더십과 경쟁력을 확보해 우리나라가 AI 강국으로 도약할 수 있도록 최선을 다하겠다"고 전했다.