[디지털데일리 심재석기자]KT는 국내에서 빅데이터에 가장 발빠르게 움직이는 기업 중 하나다. 빅데이터 기술을 내부 서비스에 활용하는 것을 넘어, 빅데이터 전문기업 넥스알을 인수하는 등 신규 비즈니스 영역으로 빅데이터를 바라보고 있다.

KT가 빅데이터에 대해 적극적인 이유는 자체적으로 보유한 데이터가 어마어마하게 많기 때문이다. KT 전체가 현재 보유한 데이터가 1페타바이트에 달하는 것으로 전해졌다.

대표적인 것이 사용자들의 통화 기록, 데이터 사용 기록 로그다. 이 로그 데이터를 기반으로 과금하기 때문에 이에 대한 처리는 필수적이다. 예를 들어 고객응대를 위해 처리하는 데이터만 하루에 10테라바이트가 쌓인다. 고객에게 항의가 들어오면 90일치 데이터를 5초안에 들여다 봐야 한다. 요금이 과다 청구됐다는 고객의 항의에 유튜브를 얼마나 보고, 얼마나 많은 데이터를 썼는지 설명하지 못하면 큰 분쟁이 될 수 있다.

이런 대규모 데이터를 기존에는 상용 데이터베이스를 통해 저장하고 분석했다. 그러나 그 방식은 비용 부담이 너무 컸다. 100억원 이상의 예산이 들어가는 프로젝트가 비일비재했다. LTE가 확산되면서 데이터의 증가 속도는 더 빨라졌다. 결국 상용 DB는 확장성 및 비용 면에서 효율적이지 않다고 KT는 판단을 내렸다.

KT는 이에 대한 대안으로 ‘하둡 및 에코시스템’을 선택했다. 오라클, 사이베이스 등의 상용 데이터웨어하우스(DW) 대신 하둡과 그 에코시스템을 통해 데이터를 저장하고, 처리토록 했다. 1차적으로 400테라바이트 규모의 데이터를 처리할 수 있는 환경을 마련했고, 내년까지 1페타바이트를 처리할 수 있도록 시스템을 구축겠다는 계획이다.

이 프로젝트에는 KT넥스알의 NDAP이라는 빅데이터 플랫폼이 도입됐다. NDAP은 오픈소스소프트웨어를 기반으로 KT넥스알 측이 개발한 것이다. 아파치 플럼(데이터 수집), 아파치 하둡파일시스템(저장), HBASE(실시간 검색), 하이브(SQL 처리), 아파치 우지(워크플로우), 스쿱(데이터 통합) 등이 활용됐다. 

오픈소스소프트웨어를 그대로 활용한 것은 아니다. 일부 오픈소스소프트웨어 중에는 일정 정도 수준에 올라오지 못한 것들도 있고, KT 상황과 맞지 않는 것도 있기 때문이다. 

또 KT의 사례가 흥미로운 점은 대부분의 빅데이터 프로젝트가 신규 시스템 구축인데 반해 KT 통신 로그 데이터 분석 시스템은 기존 시스템과의 하이브리드로 구성됐다는 점이다.

KT넥스알 한재선 사장(KT 클라우드웨어 최고기술책임자)는 KT는 빅데이터를 활용567억원을 절감하고, 장애대응 시간을 50% 단축했다”고 밝혔다.

<심재석 기자>sjs@ddaily.co.kr