2011년 7월, 미국 캘리포니아주 산타크루즈시에서는 흥미로운 일이 벌어졌다. 경찰이 범죄가 발생할 곳을 예측해 미리 현장 인근에 출동했고, 실제 거기서 범죄가 일어난 것이다.
마치 영화 '마이너리티 리포트'의 한 장면과 같은 일이 벌어진 것이다. 어떻게 이같은 일이 가능했을까. 이른바 '빅데이터 분석' 기술 덕분이다. 빅데이터는 한 마디로 과거에는 쓸모없어 보이던 데이터 뭉치에서 새로운 가치있는 정보를 찾아내는 것이다. 최근 과거 데이터 마이닝기술이 대용량 데이터분석 기술로 진화하면서 탄생한 개념이다.
산타크루즈시의 경우 빅데이터 개념을 도입, 범죄자들이 과거 범죄현장 인근에서 범행을 저지르는 경향을 파악하고 수학적 알고리듬에 기반해 우범지역을 사전에 탐색해 출동하면서 범죄발생율을 대폭 줄인 것으로 알려졌다. 이처럼 과거에는 분석하지 못했던 수많은 데이터속에서 일정한 패턴이나 규칙을 찾아내고 이를 활용해 현실에서 발생 가능한 사건이나 상황을 예측하는 것이 바로 빅데이터 분석기술이다.
기업들은 이미 빅데이터분석 인프라를 구축하고 정확한 시장 예측에 근거해 정교한 마케팅 전략을 구사하고 있다. 자동차 업계에서는 신차 출시 전에 데이터 분석을 통해 초기 불량률을 정확하게 예측함으로써 비용을 절감한다. 과거에는 출시전 불량이나 오류 테스트가 제한적이어서 결국 시판한 뒤 고객불만(VOC)을 통해 문제점을 파악하고 대처하는 경우가 많았다. 빅데이터 기술로 제품의 신인도와 고객 충성도 하락을 방지할 수 있는 것이다.
은행과 보험 업계에서는 대출 및 연체 정보를 분석해 손실과 각종 금융사기의 발생을 미연에 방지한다. 통신 업계에서는 고객의 이용패턴을 분석해 맞춤 서비스를 제안함으로써 고객이 보다 저렴하고 효율적으로 통신 서비스를 이용할 수 있도록 돕는 것이 그 사례다.
정부공공기관에서도 이를 도입하고 있다. 미국 국세청은 작년 말 625만 달러(약 70억 원)를 들여 데이터 분석 시스템을 구축하고, 다양한 세법 위반 행위의 적발 및 방지에 활용하고 있다. 경찰은 범죄 이력을 분석해 범인 검거에 활용하고 있다.
지난해 5월 일본 노무라종합연구소가 발표한 'IT로드맵'에 따르면, 2016년에는 빅 데이터가 일상 곳곳에서 활발히 활용될 것으로 전망된다.
예컨데 전력의 경우, 각 가정에 설치된 스마트 미터기로 수집한 전력소비량 데이터와 기상정보 등 전력소비에 관련 있는 데이터와 조합 또는 분석해 실시간으로 전력수요를 예측한다. 전력 부족이 예상될 경우, 오프피크 시간대의 요금을 큰 폭으로 할인하는 등의 캠페인을 실시해 가정의 전력수요를 오프피크 시간대로 유도함으로써 사회 전체의 전력 부족 상황을 사전에 예방하는 것이다.
독자들의 PICK!
빅데이터 분석은 이처럼 기업과 산업의 경쟁력 향상을 넘어, 국가 및 사회 시스템과 사람들의 일상생활 전반을 스마트하게 변화시키는 데 기여하는 기술이다.
그렇다면, 빅데이터 시대를 주도하기 위해서 어떤 준비가 필요할까.
우선, 빅 데이터를 분석하는 기술이나 솔루션 도입이 필요하다. 데이터는 기업의 '전략적 자산'으로 불린다. 기술은 돈으로 살 수 있지만, 오랜 세월 동안 축적하고 관리해온 데이터는 돈으로 가치를 따지기 어렵다. 따라서 데이터를 전략적으로 다루는 게 무엇보다 중요하다.
이에 필요한 것이 인재이다. 데이터 분석과 IT, 그리고 비즈니스 프로세스에 관한 노후아를 겸비한 이른바 '데이터 사이언티스트(과학자)'를 확보해야 한다. 또 데이터분석을 총체적으로 지휘할 '비즈니스 분석 역량 센터(Business Analytics Competency Centre)'를 조직해야 한다. 센터를 통해 주요 이해관계자들의 역할과 책임을 명확히 규정함으로써 IT 부서와 비즈니스 담당 부서 간의 의견차를 좁히고, 나아가 전사적인 분석문화를 정착해야만 한다.
'필요는 발명의 어머니'이다. 기술은 항상 꿈을 이루고자 하는 인류의 강력한 바람을 동력으로 삼아 발전해왔다. 빅데이터 분석은 앞으로 무한한 인류의 상상을 현실로 탈바꿈시킬 잠재력을 지녔다.