[창간8주년/대한민국 빅데이터] 엔씨소프트, 오픈소스로 상용DW 대체
빅데이터는 현재 IT업계의 최대 화두다. 2~3년 전 빅데이터의 중요성이 대두된 이후 기업들은 빅데이터를 어떻게 활용할 것인지에 대한 고민을 안고 있다.
그러나 아직 국내에서 빅데이터 활용은 초기 단계다. 움직임이 빠른 기업들은 빅데이터를 부분적으로 도입해 효과를 본 사례가 일부 나타나기도 했지만 아직 대부분의 기업들은 빅데이터가 무엇인지 학습을 하고 있는 단계다.
디지털데일리는 창간8주년 기획 ‘대한민국 빅데이터, 어디로 가야할까’를 통해 빅데이터 활용 전략에 대한 전문가들의 조언과 도입 사례, 주목할만한 빅데이터 솔루션 등을 소개할 계획이다.
2부에서는 KT, 엔씨소프트, GS홈쇼핑 등 각각 다른 산업의 대표 기업들이 빅데이터를 어떻게 활용하고 있는지 사례를 살펴본다.
2부 기사 순서
① KT, 빅데이터로 567억원 절감
② 엔씨소프트, 오픈소스로 상용DW 대체
③ GS홈쇼핑 “빅데이터 기술 내재화 주력”
[디지털데일리 심재석기자] 엔씨소프트는 온라인 게임업계에서 빅데이터 분석에 가장 선도적인 회사로 평가받고 있다.
이 회사가 빅데이터 플랫폼을 도입한 이유는 ‘로그 데이터’ 때문이다. 갈대와 같은 고객의 마음을 잡기 위해서는 고객의 행동을 분석해 게임을 떠나지 않도록 해야 하기 때문이다. 또 카드 도용, 어뷰징(Abusing), 계정 도용, 작업장 등을 탐지하기 위해서도 로그데이터를 잘 분석할 필요가 대두됐다.
엔씨소프트 윤종완 TC테이터플랫폼실장은 “아이온 게임이 나온 이후 고객의 행태가 점점 더 복잡해져 이벤트나 마케팅할 때 쉽지 않다는 내부 평가가 있었다”면서 “예전의 분석 결과대로 이벤트나 마케팅을 하면 효과가 없는 경우가 많았다”고 말했다.
기존에도 로그분석 시스템은 있었다. 이 시스템은 마이크로소프트의 SQL 서버를 기반으로 구성돼 있었다. 그러나 아이온이 출시되면서 이 시스템은 한계에 달했다.
현업에서 좀더 정교한 데이터 분석을 원했다. 이용자들의 행태가 점점 복잡해지면서 좀더 구체적인 분석이 필요했기 때문이다. 더 다양한 분석을 위해서는 더 많은 로그 데이터를 관리해야 했고, MS SQL과 같은 상용 DB로 이 데이터를 처리하기 위해서는 비용부담이 컸다.
윤 실장은 “더 빠르고 세밀하게 데이터를 보여달라는 현업의 요구에 따라 이용자들의 활동 포인트를 더 많이 보다 보니까 하루에 1테라바이트의 로그데이터가 쏟아졌다”며 “기존의 데이터웨어하우스(DW)는 비용과 확장성 면에 한계에 달했다”고 말했다.
데이터 수입 저장, 관리는 오픈소스 기반으로 하고, 분석만 상용 소프트웨어를 사용했다. SQL엔진은 자체 개발했다. 하둡 에코시스템 중 하나인 하이브를 사용하고자 했으나, 성능이 떨여졌기 때문이다. 엔씨소프트는 자체적으로 SQL처리 엔진과 관리 툴을 개발해 사용했다.
윤 실장은 “상업 솔루션 비용을 줄이는 대신 개발자를 더 채용해 엔씨소프트 상황에 딱 맞는 DW를 구축하려고 노력했다”면서 “국내에는 외부에서 도움을 받을 빅데이터 전문기업이 많지 않고, 도움을 받는다고 하더라도 내부 개발자는 꼭 필요하다”고 조언하기도 했다.
<심재석 기자>sjs@ddaily.co.kr
[IT백과] 생성형AI의 진화 ‘AI 에이전트’, 기존 AI 비서와 뭐가 다를까?
2024-12-21 13:27:59[종합] AI 초격차 확보 공고히 한 오픈AI…12일간 여정 끝엔 ‘쩐의전쟁’ 남았다
2024-12-21 11:15:25오픈AI, o1보다 더 강력한 o3 예고…개발자·연구자 대상 사전 테스트 실시
2024-12-21 08:02:48