[디지털데일리 권하영기자] 생성형 인공지능(AI) 시대, 금융사들의 가장 큰 고민은 ‘우리 회사에 맞는 AI’를 사용하고 싶다는 바람일 것이다. 다양한 파운데이션모델들이 범람하고 있지만, 결국은 기업이 가지고 있는 데이터를 학습하고 이해하는 AI 모델이 있어야 최적의 결과물을 얻을 수 있기 때문이다.

한국레드햇 김종규 상무는 12일 롯데호텔서울 크리스탈볼룸에서 ‘리디자인(Re-Design) 디지털 금융’을 주제로 디지털데일리가 개최한 [금융IT Innovation] 콘퍼런스에서 이를 지적하며 ‘금융에 최적화된 AI를 육성하는 방법’을 제안했다.

김 상무는 “지금 나오고 있는 파운데이션모델들이 학습한 데이터는 일반적인 시장 데이터인 것이고, 기업에서 AI를 사용하려면 기업의 데이터를 활용해야 한다”며 “예를 들어 우리 은행에 이런 상품이 있는데 ‘제일 대출이 잘나가는 상품은 뭐냐’고 했을 때 AI가 반응하려면 기업에 최적화된 데이터로 학습해야 하는 것”이라고 지적했다.

일반적으로, 기업에 최적화된 AI로 만들기 위한 기법은 두 가지가 있다. 하나는 검색증강생성(RAG, Retrieval Augmented Generation)이다. 이는 외부 지식 기반에서 사실을 검색해 정확한 정보 기반으로 거대언어모델(LLM)이 답변을 생성하도록 하는 방법이다. 또 하나는 파인튜닝(Fine tuning)이다. LLM의 일부 또는 전체를 다른 데이터 세트로 재훈련해 모델을 미세조정하는 것이다.

이 두가지는 각각 장단점이 있다. RAG는 도입이 쉽다. 벡터 데이터베이스(DB)에 입력한 기업의 데이터를 바탕으로 질의응답을 할 수 있다. 대신 벡터 DB에 있는 데이터를 항상 최신으로 유지해야 하고, 그 데이터 품질에 따라 결과값도 달라진다. 파인튜닝은 기업의 데이터로 학습해 응답이 빠르고 정확도도 높지만, 학습을 시키기 위해 GPU 등 많은 리소스가 필요하고 퍼블릭클라우드 사용료도 올라간다.

이에 레드햇은 금융권 AI 구축 전략의 핵심으로 머신러닝운영(MLOps)를 강조한다. MLOps는 AI 모델 개발‧배포‧운영을 자동화하고 표준화하는 방법론이다. 특히 레드햇은 앞선 RAG와 파인튜닝의 장점을 합친 ‘LAB(Large-scale Alignment for chatBots)’ 방식으로 금융기관만의 특수성을 반영했다.

김 상무는 “LAB는 대화하듯 모델을 학습시키고 결과를 쉽고 빠르게 얻을 수 있는 방식”이라며 “질의응답을 통해 모델을 점점 더 발전시키고 정확도를 높일 수 있다”고 설명했다. 그는 “벡터 DB 기반의 RAG는 검색 단계에서 데이터 활용이 제한적이고 파인튜닝은 리소스가 많이 드는데, LAB는 맥북 정도 기종으로 충분히 데이터 학습이 가능하다”며 “반복적 실험으로 즉각적인 피드백을 반영해 조정되므로 시간 및 비용효율성도 좋다”고 소개했다.

이러한 LAB 방식의 AI 도입을 위해 레드햇은 자사 솔루션을 활용한 3단계 과정을 제시하고 있다. 첫 번째는 레드햇이 IBM과 공동으로 개발한 오픈소스 AI 커뮤니티 프로젝트인 ‘인스트럭트랩(InstructLab)’을 통해 기업 데이터를 학습하는 것이다. 그런 다음 학습된 모델을 기반으로 서비스할 수 있는 환경을 만들기 위해, IBM 그래니트 기반 LLM 개발·테스트·실행 플랫폼인 레드햇 ‘RHEL AI’를 활용하는 것이 두번째다. 마지막으로, 쿠버네티스 환경의 AI 개발·배포 플랫폼인 ‘레드햇 오픈시프트 AI’를 통해 AI 애플리케이션의 배포와 운영 및 관리를 진행한다.

김 상무는 “레드햇은 AI 모델부터 플랫폼, 서비스까지 AI 워크로드 전반을 한꺼번에 지원하며, 개방형 하이브리드 클라우드 플랫폼을 가지고 있기 때문에 퍼블릭 클라우드나 프라이빗 클라우드 환경 상관 없이 AI 워크로드 적용이 가능하다”고 언급했다.

그러면서 “레드햇 오픈시프트 AI를 통해 AI 도입을 간소화하고, 퍼블릭이나 프라이빗 클라우드에 구애받지 않고 하이브리드 클라우드의 유연성을 확보하며, AI 관련 모든 영역에서 동일한 유저 인터페이스를 제공하며 AI와 머신러닝 운영의 일관성을 유지할 수 있다”고 강조했다.