[디지털데일리 오병훈기자] 오픈AI의 서비스 장애 사태가 반복되면서, 대형언어모델(LLM)을 활용해 서비스를 영위 중인 업계 사이에서는 다양한 종류 LLM을 동시에 사용하는 ‘멀티 LLM’ 중요성이 부각되고 있다.

멀티 LLM 체제를 구축한 기업에서는 한쪽 LLM에서 장애가 발생하더라도, 다른 LLM으로 대체할 수 있어 유연한 대응이 가능하기 때문이다. 클라우드 서비스 장애로 멀티클라우가 장애 대비책으로 주목받았듯, LLM 영역에서도 ‘이중화’ 전략이 인프라 리스크 관리 핵심으로 주목받는 계기가 될 것이라는 분석도 나오고 있다.

13일 업계 따르면 오픈AI에서 전날 약 4시간가량 주력 서비스인 챗GPT 서비스 장애가 발생했다. 당시 오픈AI에서는 엑스(X, 구 트위터)를 통해 이번 장애 원인을 ‘정전’이라고 밝히며, 원인 조사 및 복구를 조속히 진행하겠다며 사태 진화에 나선 바 있다.

이후 12일(현지시간)에 공개된 ‘오픈 AI의 12일간 여정(12 Days of OpenAI)’ 6일차 영상에서 케빈 웨일 최고제품책임자(CPO)는 “전날 몇 시간 동안 서비스 중단이 있었다”며 “여러분이 우리를 의지하고 있다는 걸 알고 있기 때문에 사과하고 싶다. 오픈AI는 이를 매우 심각하게 받아들이고 있으며, 상세한 후속 보고서를 게시할 예정”이라고 전하기도 했다.

오픈AI은 이번 서비스 장애 외에 지난 6월과 11월에도 서비스 장애를 일으킨 바 있다. 업계에서는 전세계 2억5000명 이용자가 찾는 서비스인 만큼, 그에 따른 트래픽 폭증에 따른 서버 문제로 이같은 문제가 반복되고 있는 것으로 보고 있다.

이번 오픈AI 서비스 장애로 국내 AI 서비스 기업에서도 적지 않은 영향을 받은 것으로 확인됐다. 오픈AI 챗GPT와 연동해 서비스를 운영 중인 기업이 다수 있기 때문에 오픈AI 측에서 발생한 장애로 일부 기능이 정지되는 등 불편함을 겪어야 했다. 대표적으로 오픈AI 챗GPT와 연동해 검색이나 요약 서비스를 제공하는 기업에서는 챗GPT를 기반 모델로 작동하게 설정해 둔 경우 관련 서비스가 제대로 응답하지 않는 등 문제가 발생했다.

한 AI 업계 관계자는 “오픈AI 관련 응용프로그램 인터페이스(API)를 이용하는 생성 서비스 쪽에서 일시적으로 장애가 발생했다”고 말했다.

또 다른 AI 업계 관계자는 “오늘 오전 주력 서비스에 활용되는 챗GPT-4o 서비스 장애가 발생하면서 오전 시간 동안 해당 서비스를 잠시 중단하는 상황이 벌어지기도 했다”며 “오픈AI 쪽에서 서비스를 정상화하기 전까지 업무를 진행하지 못했다”고 말했다.

다만, 국내에서 LLM 미세조정(파인튜닝) 모델을 통해 서비스를 제공하는 기업들은 대체로 챗GPT 한 가지 LLM만 사용하기보다는 라마, 젬마 등 다양한 LLM을 함께 활용하고 있어 큰 피해는 막을 수 있었다. 이에 따라 클라우드 서비스 장애에 대처하기 위해 멀티 클라우드 사용이 중요해진 것처럼, LLM도 한 모델만 사용하기보다 멀티 LLM을 활용함으로써 유용하게 대처할 수 있어야 한다는 목소리도 나오고 있다.

AI 기업 관계자는 “한때 서비스 장애가 발생하기도 했으나, 오픈AI 서비스 장애 상황이 확산 되지 않도록 다른 LLM으로 대체하는 등 조치를 취했다”며 “API 연동 역시 사용 비중을 줄이도록 조치해 큰 장애를 피할 수 있었다”고 말했다.

또, 클라우드서비스제공자(CSP)를 거쳐 챗GPT를 사용한 덕분에 이번 서비스 장애를 피할 수 있었던 사례도 나왔다. 마이크로소프트(MS) 클라우드 서비스인 ‘애저’를 통해 챗GPT를 활용 중이던 한 기업에서는 오픈AI 서비스 장애에도 문제 없이 서비스를 이용할 수 있었다. 애저 내에서 제공하는 챗GPT와 오픈AI에서 자체적으로 제공하는 챗GPT와 분리돼 있어 영향을 받지 않았을 것이란 분석이다.

한 스타트업 관계자는 “사내에서 업무에 활용 중인 챗GPT 모델은 MS 애저를 통해 사용 중이었다”며 “오픈AI는 자체 서버에서 호출된 API에서 장애가 발생한 것으로 보이며, MS가 애저를 통해 별도로 제공하는 챗GPT에서는 큰 문제가 없었던 것으로 보인다”고 설명했다. 또, “한 기업 LLM만 사용하기보다는 다양한 LLM을 동시에 사용하거나, CSP를 통한 LLM 활용 등 서비스 장애를 대비할 수 있는 여러 방안을 고민해야 할 필요성을 느끼게 해준 사건”이라고 덧붙였다.