[디지털데일리 이나연기자] 생성형 인공지능(AI) 서비스 대중화 시대가 열리면서 AI 활용 윤리와 안전 문제가 향후 시장 성패를 가를 주요인으로 떠올랐다. 글로벌 빅테크처럼 자체 거대언어모델(LLM)을 개발 및 운영 중인 국내 플랫폼 기업들도 관련 위험을 최소화하기 위한 준칙을 고도화하고 있다.

28일 정보기술(IT)업계에 따르면 카카오는 지난 22일 개최된 개발자 컨퍼런스 ‘if(kakaoAI)2024’에서 ‘카카오 AI 세이프티 이니셔티브(카카오 ASI)’를 구축했다고 밝혔다. 카카오 ASI는 AI 기술 개발과 운영 과정에서 발생할 수 있는 리스크를 사전에 식별하고, 이를 관리하는 프로세스를 정의한 리스크 관리 체계다.

Kakao ASI는 ▲카카오 AI 윤리 원칙 ▲리스크 관리 사이클 ▲AI 리스크 거버넌스라는 3가지 핵심요소로 구성된다. 특히, 기술 설계부터 개발, 테스트, 배포, 모니터링 및 업데이트 등 AI 시스템 전 생애주기에서 발생할 수 있는 리스크에 선제 대응할 수 있도록 했다. AI와 인간이 초래할 수 있는 다양한 종류 리스크를 폭넓게 관리하며, 인간 부주의나 실수로 발생할 수 있는 영역까지 관리 범위를 포괄적으로 지정했다.

김경훈 카카오 AI 세이프티 리더는 “AI 시스템 이용에 따른 리스크 발생 주체를 AI와 인간으로 구분하고, 발생 주체별 리스크의 특성을 반영해 평가 및 대응을 마련했다는 점이 타사 AI 리스크 관리 프레임워크와 차별화되는 점”이라고 말했다.

네이버는 앞서 지난 6월 자체 기술 채널인 ‘채널 테크’를 통해 ‘네이버 AI 세이프티 프레임워크(ASF)’를 발표했다. ASF는 네이버가 AI 시스템을 개발하고 배포하는 과정의 모든 단계에서 AI의 잠재적 위험을 인식·평가·관리하기 위한 대응 체계다. 지난 2021년 공개한 ‘네이버 AI 윤리 준칙’, 2022년 공개한 ‘AI 윤리 자문 프로세스’ 내용을 한층 구체화했다.

네이버 ASF는 인간이 AI 시스템에 영향을 미치지 못하게 되는 ‘통제력 상실 위험’을 완화하기 위해 ‘AI 위험 평가 스케일’을 통해 AI 시스템의 위험을 주기적으로 평가하고 관리한다. 현존 최고 성능 AI 시스템을 ‘프런티어(frontier) AI’로 정의하고, 이 기술 수준에 해당하는 AI 시스템에 대해서는 3개월마다 위험 평가를 수행한다. 또 시스템 능력이 기존보다 6배 이상 급격히 증가하면 그 시점에 추가 평가가 이뤄진다.

최수연 네이버 대표는 “네이버는 한국에서 ‘하이퍼클로바X’라는 소버린 AI를 개발한 경험을 통해 문화적·지정학적 상황과 지역적 이해가 AI 성능뿐만 아니라 안전성에도 영향을 미친다는 점을 실증했다”고 말했다.

양사 모두 빠르게 변화하는 환경과 기술적 요구에 맞춰 AI 시스템 신뢰와 안전성을 꾸준히 높이기 위한 노력을 지속할 방침이다. 먼저 카카오는 Kakao ASI 구축 이후에도 AI 기술 개발과 운영 과정에서 발견되는 리스크를 신속하게 식별 및 대응하고, 지속적으로 체계를 고도화할 계획이다.

네이버도 문화적 다양성을 반영한 AI 안전성 체계로 네이버 ASF를 발전시킬 계획이다. 한국 외 다른 지역 정부 및 기업과 소버린(Sovereign·주권) AI를 공동 개발하며 특정 문화권에서 성립될 수 있는 AI 시스템의 위험을 식별하고, 위험의 정도를 측정하는 벤치마크(benchmark)도 문화권 특성을 반영해 고도화할 예정이다.

한편 전 세계적으로 AI 안정성 규제 기조가 본격화하는 추세다. 지난 8월 유럽연합(EU) AI법이 발효됐고, 미국 캘리포니아주 의회에서 AI 규제법이 다수 통과됐다. 한국 역시 AI 기본법 입법을 논의 중이다.