[디지털데일리 강소현기자] “LLM(거대언어모델)을 활용할 땐 적용하고자 하는 업무의 특성이나 도입의 시급성, 비용효율성 등을 고려해 도입 전략을 먼저 수립해야합니다”

김상목 SK텔레콤 AI엔터프라이즈사업담당은 9일 오후 <디지털데일리>가 서울 중구 롯데호텔 서울에서 산업별 AI 혁신과 도전과제를 주제로 진행한 컨퍼런스 ‘AI 웨이브 2024’에서 “현실적으로 AI(인공지능) 통한 혁신이 체감적으로 다가오지 못하게 하는 장애물들이 있다”라며 이 같이 밝혔다.

김 담당은 이날 AI 서비스 개발 시 겪는 현업의 현실적인 고민들을 언급하면서, AI를 잘 활용하기 위한 SK텔레콤의 3가지 전략을 공유했다.

먼저, 하나의 AI 모델로 모든 서비스를 처리하려는 것이 아닌, 상황에 맞는 전략을 짜야 한다고 김 담당은 강조했다. 보안이 중요한 서비스는 경량화 모델(sLM)을, 빠르게 출시해야 하는 서비스는 이미 성능이 입증된 4세대 GPT를 적용하는 방식이다.

SK텔레콤의 경우도 다중 LLM 적용 전략을 채택하고 있다. 김 담당은 “내부 고객센터의 경우 도입의 시급성을 고려해 당장은 자체 모델을 적용하지 않았다”라며 “당사 개인비서 서비스인 에이닷(A.) 통화요약의 경우 빠르게 적용할 수 있는 4세대 GPT를 적용했지만, 향후 자체 모델로 전환한 예정”이라고 밝혔다.

아울러 운영 관점에선, AI 서비스의 성능을 평가하기 위한 자체 평가셋을 만들어야 한다고 조언했다. 현재는 많은 기업에서 서비스를 일일이 눈으로 보면서 점성적 평가를 진행하고 있다는 설명이다.

김 담당은 “LLM이 선정된 뒤 한번 서비스를 제공하고 끝이 아니라, 지속적인 사용자 피드백을 통한 강화 학습과 데이터 신규 생성 및 정책/환경 변화에 대응은 필수적이다. 하지만 향상에 대한 정량적 측정은 현실적으로 어렵다”라며 “중요 포인트를 모두 포함됐는지, 말을 자연스럽게 만들었는지 등을 평가하고 싶다면 결국엔 각사에 맞는 평가모델을 만들어야 한다”고 말했다.

이 가운데 SK텔레콤은 프라이빗 LLM leaderboard을 구축했다. 모델의 성능을 외부 공개 없이 내부 평가해 지속적인 성능 변화를 확인할 수 있는 것이 특징이다. 실제 업무에 적용된 AI 생성 답변을 평가하는 기업 업무 특화 LLM 성능 평가 측정기도 내부적으로 개발 중이다.

끝으로 김 담당은 인프라 운용 효율성 면에서 GPU 인프라를 어떻게 구축할 것인지에 대한 고민도 장기적으로 필요하다고 말했다. 서비스 개발 및 확장 계획과 예산 등을 고려해 다양한 방식의 인프라 구축 활용 전략을 수립해야 한다는 지적이다.

김 담당은 “자체 데이터센터의 전력용량이 충분하지 않은 경우 AI D/C 코로케이션을 생각해볼 수 있다. 하지만 비용부담이 있다면 클라우드를 고민해보는 것도 전략"이라며 “장기적으로는 NPU를 활용한 추론 전용 AI 서버 활용도 고려해야 할 것 같다”고 말했다.