[디지털데일리 최민지기자] 인공지능(AI) 사용이 확산되면서, 사이버위협 고도화뿐 아니라 딥페이크 등 오남용 문제까지 사회적 이슈로 떠오르고 있다. AI 업계는 이같은 우려로 AI를 향해 엄격한 기준을 적용한다면, 발전 속도가 늦어지고 궁극적으로 무한한 AI 기회를 놓칠 수 있다고 지적한다.

5일 권순일 업스테이지 부사장은 서울 용산 로얄파크컨벤션에서 열린 ‘2024 AI 시큐리티데이’에서 “AI는 가능성이 무궁무진한 기술”이라며 “모르는 것은 탐색부터 해야 한다. 탐색을 하지 않고 무작정 방어만 하다, (AI) 가능성을 우리가 놓칠 수 있다”고 우려했다.

권순일 부사장은 AI 리스크를 과도하게 통제하려고 한다면, 발전에 부정적 영향을 미칠 것이라고 진단했다.

이와 관련 권 부사장은 “AI는 아직 개선해야 할 점이 많은 기술이다. 보안적 측면, 잘못 활용될 부분 등을 기술적으로 명확히 막을 수 있는 단계까지 왔냐고 묻는다면, 솔직히 아니다”라고 말했다. 그러면서도 “이러한 리스크가 존재하니, 사용하지 않을 것인가. 아니면, 엄격한 기준을 적용해 발전 속도를 늦출 것인가. 그렇게 가면 안 된다”며 “열린 마음으로 AI를 잘 활용할 수 있는 방안을 고민해야 한다”고 강조했다.

물론, 업계는 생성형AI 시대에 대응한 보안 리스크 등을 줄이기 위해 노력 중이다. 학습데이터 수집과 활용과 관련해 자체 데이터 거버넌스를 수립하고, 민감정보에 대한 전‧후처리 모듈을 추가하고 있다. 환각 문제를 줄이기 위해, 파인튜닝이나 검색증강생성(RAG)을 통해 활용 정보를 제한시키기도 한다. 이 외에도 망분리와 프라이빗클라우드로 독립환경을 구축한다.

실제, 업스테이지는 한국언론진흥재단 뉴스검색시스템 ‘빅카인즈’에 생성형AI를 적용했을 때 환각 문제를 줄이기 위한 기술적 조치를 취했다. RAG를 통해 특정 데이터 내에서만 대답하도록 하고, 어디에서 참조해 답을 했는지 사용자환경(UI)‧사용자경험(UX) 단에서 볼 수 있도록 해 최종 사용자가 판단하도록 했다.

또한, 업스테이지는 한 보험사와 보험 특화 생성형AI 기반 챗봇 개념검증(PoC)을 했을 때에도 RAG 검색모듈을 붙여 정보가 외부로 나가지 않는 형태를 구현했다. 보장 여부, 정의‧설명, 대답 불가 케이스로 질문 의도를 분류하고, 이에 해당했을 때 정해진 파이프라인으로 답변하도록 했다. 이 외에는 일반 LLM을 통해 답변을 생성하는 방식이다. 최종 정답률은 98%로, GPT 일반 대응 정답률보다 높은 수치를 기록했다.

한편, 이날 권 부사장은 AI 관련 학습데이터 수집 및 활용 가이드를 비롯해 금융권 AI 서비스를 기대하게 하는 망분리 규제 완화 정책 등에 대한 현업 분위기도 전했다.

권 부사장은 “미국이나 유럽에서 학습데이터 수집‧활용 관련 논의를 하고 있지만, 현업에서는 아직 명확한 가이드가 있다고 느끼지 않는다. 최근엔 금융권 망분리 규제 완화도 발표했지만, 실제 생성AI를 적용했을 때 어디까지 학습에 활용해도 될지, 애매모호한 부분도 있다”며 “기업이나 개인이 데이터를 활용할 때 수집단계부터 모호함이 있다면, 잘못된 데이터 또는 보안 이슈가 있는 데이터들이 들어간 결과물들이 도출될 수 있다”고 전했다.