[디지털데일리 백지영기자] 디지털 세상에서 모든 기록은 ‘로그’로 남는다. 로그는 광범위한 시스템과 응용프로그램(앱)에서 생성되는 이벤트 기록으로 발생시기와 접근 내용, 무엇이 혹은 누가 발생시켰는지에 대한 세부정보와 관련 메타데이터를 포함하고 있다.

수많은 로그에서 기업들은 원하는 정보를 찾아 빠른 의사결정을 취할 수 있다. 이처럼 유용한 로그이지만 데이터가 늘어날수록 이를 수집해 분석하기는 점점 어려워진다. 엘라스틱은 단일 플랫폼에서 합리저긴 비용으로 원하는 로그를 수집, 검색하고 보관해주는 솔루션을 제공하는 기업이다.

특히 ‘엘라스틱 옵저버빌리티’는 머신러닝 기반의 통합 ‘인공지능 옵스(AIOps)’를 통해 마치 모래사장에서 바늘을 찾듯 수많은 데이터 상에서 원하는 로그를 찾아주는 것은 물론 로그 분석과 모니터링, 앱 성능 모니터링(APM) 등을 제공하는 것이 특징이다.

최병주 엘라스틱 시니어 솔루션 아키텍트는 22일 오전 서울 중구 은행연합회에서 진행된 ‘서비스형 소프트웨어(SaaS) 고도화 전략 컨퍼런스’에서 ‘엘라스틱 SaaS로 로그 성능 극대화하기’의 주제발표를 통해 SaaS에 최적화된 로그관리와 분석 방안을 공유했다.

현재 엘라스틱 솔루션은 퍼블릭 클라우드에서도 사용 가능하다. 국내에선 구글 클라우드 플랫폼(GCP)과 아마존웹서비스(AWS)에서 사용할 수 있고, 마이크로소프트(MS) 애저에서 곧 출시될 예정이다.

그는 “데이터 수집부터 로그 검색과 집계, 분석, 데이터 보관까지 수많은 도전과제가 있다”며 “당장 데이터 소스로부터 로그를 수집하는 것은 많은 시간이 소요되며 수집설정 에이전트 설정을 수정하거나 업데이트하기 위해선 호스트단에서 수동 작업이 필요하는 등 난제가 많다”고 설명했다.

이에 엘라스틱은 ‘엘라스틱 에이전트’를 통해 하나의 에이전트만으로 전체 인프라에 배포해 로그와 메트릭, 추적 데이터를 모두 수집하고, ‘엘라스틱 플릿’의 UI를 통해 에이전트를 중앙관리할 수 있다.

로그 검색과 집계 단계에서도 ‘엘라스틱서치’를 코어로 사용하는 엘라스틱 플랫폼을 통해 풀테스트 검색엔진을 제공하고, 밀리세컨드 단위의 빠른 집계를 가능하게 한다.

또한, 10년 이상 개발한 ‘통합 AI옵스’ 통해 수십언건의 로그에서도 로그 스파이크를 감지, 카테고리를 자동으로 분류해준다. 데이터 보관 역시 계층(티어) 간 분류를 통해 보다 비요효율적인 솔루션을 제시한다.

예컨대 거의 사용하지 않는 데이터의 경우 저비용 장기보관을 위해 S3등을 사용하고, 빈번하게 사용되는 ‘핫(Hot)' 데이터는 빠른 SSD와 고성능 CPU 등을 활용해 밀리세컨~초단위의 응답이 가능한 곳에 저장하는 식이다.

최 아키텍트는 “데이터를 계층별로 저장하면서도, 보관장소에 상관없이 전체 데이터를 실시간 검색할 수 있는 것이 강점”이라며 “계층 간 유연한 데이터 이동도 가능하다”고 말했다. 데이터 보관 비용은 대략 티어1(핫)을 100으로 놓는다면, 티어2(웜) 데이터는 30, 티어3(콜드)는 18, 티어4(프로즌)은 1.5 수준이다.

그는 “실제 티어4의 6개 노드(서버)에 저장된 5년치 1페타바이트(PB) 데이터, 1.7조개 다큐먼트 검색에 약 9분 가량 걸렸다는 데모도 있다”며 “이는 매우 빠른 속도”라고 강조했다.