데이터가 폭발적으로 증가함에 따라 정보의 생성, 활용 및 소멸에 이르기까지의 전 단계를 관리하는 기술이 점차 중요해지고 있다. 스마트폰 뿐만 아니라 스마트와치, 헬스케어 디바이스 등 다양한 스마트 장비들과 페이스북, 핀터레스트 등 사이버 공간상의 소셜 네트워크 서비스들이 생활에 빠르게 침투하면서 데이터는 우리 일상생활을 ‘디지털 공간 (Digital Universe)’으로 변모시키고 있다. 이러한 공간을 통해 우리는 거대한 데이터 바다 속으로 조금씩 이끌려 들어가고 있다고 할 수 있다.
일상 공간 속의 데이터들은 우리 삶을 보다 혁신적으로 변모시키고 있으며, 이러한 현상들은 다가오는 미래를 좀 더 풍요롭고 편리한 사회로 전환하는데 있어 주요한 요인으로 작용할 수 있을 것이다. 디지털 공간에 새로운 데이터들은 그 양이 방대할 뿐만 아니라 기존에 관리하던 정보와 달리 비정형성, 실시간적인 특징을 가지고 있다. 새로운 관리체계가 필요하고 과거의 기술과 다른 흐름을 보이고 있어 이를 구별하기 위해 ‘빅데이터(Big Data)’라는 용어를 사용하고 있다. 이는 단순히 데이터의 양이 많다는 것을 넘어 과거와 다른 방식의 접근을 모색하고 있다는 것으로 봐도 무방하다.
데이터의 폭발적인 증가의 원천에는 과거 무심코 버렸던 장비 이력 데이터(Machine Log Data)들과 새롭게 등장하고 있는 사물인터넷(IoT) 기기들이 만들고 있는 데이터들이 한 축을 이루고 있다. 통신, 금융, 미디어, 게임 등에서 대규모로 발생하고 있었던 데이터를 다루는데 있어 기술적인 제약이 사라지면서 이를 효과적으로 다룰 수 있게 된 바가 크다고 할 수 있다.
빅데이터 활용 분야와 필요 기술
이제 제조산업은 산업 고도화 단계에 접어들면서 많은 분야에서 자동화가 이뤄지고 있다. 이로 인해 사람보다는 설비에 의해 운영되는 체계로 전환됨에 따라 설비를 제어하고 모니터링 하는 일은 매우 중요한 위치를 차지한다. 과거 설비에서 나오는 데이터의 활용범위가 샘플링을 통한 품질관리 등에 적용되는 수준이었다.
하지만 이제는 데이터를 분석하고 패턴을 추출함에 따라 장비의 특성을 이해하고 해당 장비의 이상 징후를 조기에 발견해 설비의 안정적인 운영과 고장 등으로 인한 조업 중단을 예방할 수 있는 수준까지 발전해가고 있다. 이러한 기술이 확대될 경우 안전에 매우 민감한 항공기 등에 적용할 수 있다. 조기 진단 등을 통한 사고 예방과 장비 결함으로 인한 연착륙 등을 사전에 방지해 사업상의 손실을 막고 운영의 효율성을 높일 수 있게 될 전망이다. 실제로 이러한 기술을 적용해 2012년 GE는 프로세스 자동화, 최적화, 정지시간 감축, 고장 시기예측 등을 통해 450억 달러의 이득을 보았다. 인텔은 예측 분석(predictive analytics)을 통해 한개의 생산라인에서 300만 달러의 제조원가 절감을 이룰 수 있었다.
헬스케어 장비 등 다양한 IoT 기기들의 등장으로 엄청난 양의 데이터가 발생할 것으로 예상됨에 따라 맞춤형 서비스 개발이 점차 고도화될 전망이다. 애플의 시리로부터 촉발된 음성인식 기술은 단순히 개개인의 성문을 인식할 수 있는 수준에서 벗어나 자연어 수준의 문장과 의미를 해석하는 수준까지 발전하기 시작했다. 지금도 매일 상당량의 데이터들이 유입되고 있어 ‘머신러닝(Machine Learning)’을 통한 학습을 통해 점점 자연스러워지고 있다.
대규모 데이터 유입을 통한 머신러닝은 최근 여러 가지 유의미한 결과를 만들어 내고 있다. 소프트뱅크의 감정로봇인 ‘페퍼(Pepper)’와 마이크로소프트의 ‘스카이프(Skype)를 통한 실시간 통역’은 대표적인 성과라고 볼 수 있다. 페퍼는 네트워크로 연결된 인공지능을 활용함으로써 데이터 처리가 단일 기계에서 일어나던 것에서 벗어나 클라우드 형태로 확장, 모든 로봇이 일시에 개선되는 특징을 가지게 됐다.
앞으로 보급이 확대될수록 점점 발전될 가능성이 높아 빅데이터와 로봇을 연결시킨 의미 있는 진전으로 볼 수 있다고 하겠다. 또한 스카이프를 통한 실시간 통역은 그간 언어의 장벽으로 인해 대화가 어려웠던 커뮤니케이션 기술을 한 단계 도약시킨 것이라고 할 수 있다. 웹 등을 통한 대규모 데이터 수집이 없었으면 결코 만들어질 수 없는 기술이라는 점에서 빅데이터 기술이 가장 효과적으로 적용된 사례라고 볼 수 있다.
또한 IoT 기기들이 빠르게 증가할 것으로 예상됨에 따라 대규모 데이터를 고속 처리할 수 있는 5세대 통신망의 필요성이 높아지고 있다. 대규모 네트워크의 등장은 다시 데이터 처리 속도의 증가로 이어져 네트워크 상의 데이터의 양을 증폭시키는 촉매제 역할을 하게 될 것이다.
금융(finance)과 기술(technology)이 결합된 합성어인 ‘핀테크(Fintech)’는 혁신적인 기술을 통해 금융 분야를 개선하려는데 목적이 있다. 이 핀테크 분야에서도 빅데이터를 적극 활용하려는 움직임을 보이고 있다. 빅데이터 기술을 통해 상품 수익성 분석이나 신용위험(credit risk) 관리 등을 매우 빠르게 처리할 수 있도록 도와줌으로써 과거에 비해 단기간 내에 금융상품을 개발하고, 대규모 연산처리를 통한 자금 관리 등을 지원함으로써 빅데이터 기술이 매우 효과적으로 적용돼 운영 중인 것을 알 수 있다.
알리바바는 2013년 위어바오란 온라인 머니마켓펀드(MMF) 출시 1년 만에 가입자 1억 명, 약 90조 원 규모로 성장했다. MMF로는 중국에서 1위, 전 세계적으로도 5위권의 자리를 차지하고 있다. 이러한 배경에는 알리바바가 빅데이터 기술을 적극적으로 활용해 현금성 자산 규모를 적정하게 결정할 수 있었던 것에 기인한다.
이를 확대해 알리바바 파이낸셜의 소액대출에 적용하는 등 점차 그 범위를 넓혀가고 있다. 소액대출의 경우 신청한 고객의 과거 상거래 데이터를 이용해 자체적인 신용평가에 의해 대출을 하고 있고 알리바바 내부의 빅데이터 정보를 활용해 수 분 내에 알리페이(Alipay) 계좌로 돈이 입금되도록 하고 있다.
이렇듯 빅데이터는 빠르게 변하는 시장의 흐름에 민첩하고 능동적으로 대응할 수 있는 새로운 기술로 큰 관심을 모으고 있다. 하지만 지속적으로 생성되고 유입되는 대규모의 정형 및 비정형 데이터를 시의성을 고려해 실시간으로 분석함과 동시에 전통적인 정형 데이터와 통합 처리를 해야 하는 등 아직은 해결해야 할 이슈들이 남아있다.
또한 해석된 결과를 사용자가 이해하기 쉽고 처리가 쉬운 형태로 제공해야 하는 등 신기술 도입에 따른 이질감을 없애면서도 기존의 시스템 체계를 경험한 사용자의 다양한 요구 수준을 맞춰야 하는 과제를 안고 있다.
이를 위해 기존 BI(Business Intelligence)와의 효과적인 연계 운영, 처리 속도와 확장에 능동적으로 대응하기 위한 클라우드 기반의 분산처리 플랫폼이 필요하다. 또 대규모 데이터를 하드디스크가 아닌 메모리 수준에서 처리할 수 있는 인메모리 데이터베이스(In-Memory Database), 대규모 데이터를 질의(Query) 할 수 있는 체계와 중요 정보를 효과적으로 분석할 수 있는 분석체계 정립해 효과적인 의사결정을 지원하는 것도 과제다.
이를 위해서는 신경망 학습을 통한 패턴 인식 등 인공지능 기술이 필요할 것으로 예상된다. 이와 더불어 데이터 시각화(Data Visualization) 및 인포그래픽(Infographic)과 같은 커뮤니케이션 관련 기술이 점차 중요해지고 있다. 이에 따라 데이터 분석을 효과적으로 수행할 수 있는 데이터 과학자(Data Scientist)에 대한 수요 또한 늘 것으로 예상된다.
국내 빅데이터 관련 주요 현황
빅데이터 기술적인 측면에서는 오픈 소스인 ‘하둡(Hadoop)’이 선도적인 위치를 차지하고 있다. 클라우드 분야에 있어서는 아마존을 필두로 마이크로소프트, IBM 등이 빠르게 추격하고 있는 상황이다. 빅데이터를 처리하려면 클라우드 기반의 분산처리 플랫폼이 필수적이지만, 이미 글로벌 기업들이 시장을 장악하고 있고 지속적인 대규모 투자가 필요한 분야라는 점을 감안하면 후발주자인 국내 기업들이 이를 극복하기란 매우 어려울 것으로 보인다.
하지만 이외의 영역에서는 아직 선두 위치를확고하게 차지하고 있는 글로벌 기업들이 많지 않고, 국내 기술 수준도 글로벌 기업들과 경쟁할 수 있는 수준이어서 아직은 기회가 있다. 빅데이터 쿼리 부문의 경우, 국내에서 개발하고 있는 ‘타조(Tajo)’가 2014년 아파치 톱 레벨 프로젝트로 승격한 일은 빅데이터 기술 분야에서 우리나라도 선두적인 역할을 할 수 있다는 계기를 마련한 매우 고무적인 사건이다. 아파치 타조 프로젝트는 그루터와 SK텔레콤이 공동으로 참여해 개발하고 있으며, 해당 기술은 SK텔레콤이 빅데이터 솔루션으로 활용하고 있다. 실제 대규모 데이터가 발생하고 있는 통신부문에 이 기술을 적용해 기술 검증이 어느 정도 이뤄졌다는 점에서 국내 빅데이터 기술 중 글로벌 수준에 가장 가까운 위치를 차지했다는 평가다.
또한 얼마 전 발표된 ‘하나(HANA)’의 경우도 우리나라에서 개발된 기술을 글로벌 기업인 SAP가 적용함으로써 인메모리 데이터베이스 분야에서 한국인의 우수성을 나타낸 바 있다. 여타 국내의 인메모리 기술을 가진 업체들도 이러한 성공에 힘입어 향후 글로벌 시장으로 진출할 수 있는 가능성이 점차 높아지고 있는 상황이다.
빅데이터는 과거와 다른 형태인 비정형 데이터를 다룬다는 점에서 시각적으로 보여주는데 상당한 어려움을 겪고 있다. 이를 효과적으로 처리하기 위해 국내외의 많은 기업들이 노력하고 있다. 국내의 경우 한국인 최초의 TED 펠로우인 민세희 대표가 이끄는 랜덤웍스(Randomwalks)와 최근 몇몇 벤처캐피탈로부터 15억 원의 투자를 유치한 엔에프랩(NF Lab)이 데이터 시각화 분야에서 선두에 있다고 볼 수 있다.
랜덤웍스의 경우 시각화 전문기업으로 다양한 형태의 시각화 작업을 소화하고 있다. 엔에프랩의 경우도 대규모 데이터에 기반한 시각화 처리 솔루션을 국내 통신회사들과 ICT 대기업에 공급함으로서 그 성능과 역량을 인정받았다.
기술적인 측면과 시각화 측면 이외도 데이터를 분석하고 이로부터 의미를 찾아내는 데이터 분석 분야도 중요한데, 이 분야의 전문가들을 빅데이터 분석가 또는 데이터 과학자라고 부른다. 해당 분야의 전문가들은 수학과 통계적인 지식을 기초로 산업 전문적인 지식을 보유해야 하기에 쉽게 양성하기 어려우며, 빅데이터 분야의 선두에 있는 북미와 비교할 경우 국내의 데이터 과학자는 그 수가 매우 부족한 실정이다. 국내의 경우 몇몇 데이터 분석 전문기업들이 활동하고 있으며, 그 중 베가스(Begas)는 제조, 교통, 통신 분야에서 국내 대기업에서 실제 프로젝트를 수행한 경험을 보유하고 있어 분석 분야에 대한 다양한 노하우와 베스트 프랙티스를 보유하고 있다고 할 수 있다.
향후 빅데이터 관련 주요 트렌드
앞서 언급한 바와 같이 IoT 헬스케어 기기들을 통한 데이터 유입이 가장 빠르게 일어날 것으로 예상됨에 따라 이와 관련한 데이터 분석 시장이 점차 열리고 있다. 최근 애플, 구글 등이 자동차 관련 시장에 집중하고 있어 자동차와 연계된 빅데이터 분석도 시장 활성화에 따라 연계돼 움직일 가능성이 높다고 본다.
핀테크 분야의 경우 알리바바 등이 이미 국내 시장에 진출했고 2015년에는 스퀘어가 한국에 진출할 예정이어서 관련 규제가 해소될 경우 O2O(On-to-Offline) 및 모바일 결제와 결합된 다양한 솔루션이 출시될 것으로 예상된다. 또한 금융권의 경우 빅데이터 기반의 분석을 통한 상품개발 등이 보다 활성화될 것으로 예상됨에 따라 데이터 기반의 의사결정으로 그 영역이 점차 확대될 것으로 보인다.
더불어 다양한 데이터에 대한 니즈가 계속해서 증가하고 있어 새로운 데이터 원천을 확보하고자 하는 시장수요도 자연스럽게 증가할 것이다. 이로 인해 데이터를 기업 및 개인 간 거래할 수 있도록 온라인 데이터 마켓플레이스 등의 도입이 논의되고 있다. 이와 관련해 향후 데이터 관련 시장 확대를 겨냥한 새로운 사업 모델들이 속속 등장할 전망이다.
글 박성혁 PAG&파트너스 부대표
;