빅데이터, 구체적인 전략이 필요하다
기업 빅데이터 가치 찾아야…분석경험이 성공비결

빅데이터에 대한 필요성에 대해서는 누구나 공감하고 있지만 현재 일반 기업에서는 관망 상태다. 필요성에 대한 인식이 불분명 한 것이 가장 큰 걸림돌로 지적되고 있는 것. 하지만 올 하반기부터 구체적인 실행전략이 생겨나면서 기존 데이터 분석 시장에 새로운 파장을 몰고 올 것으로 예상된다. <편집자 주>

Contents  1. 빅데이터 어떻게 볼것인가? 방창완 편집국장  2. 산업별 빅데이터 구축 동향 금융/이지혜 팀장, 공공/연보라 기자  3. 빅데이터를 구축 하려면? 방창완 편집국장

1. 빅데이터 어떻게 볼 것인가?
비즈니스 목적을 구체화 해야…분석경험이 프로젝트 성공비결

빅데이터에 대한 정의는 벤더나 처해 있는 기업의 입장마다 다른 견해를 보이고 있다. ‘단순히 더미형태로 쌓아 놓은 데이터를 빅데이터로 볼 것인가’에서부터 ‘리얼타임으로 실시간 의미있는 정보를 분석해서 결과를 도출해 내는 것이 빅데이터’라는 말도 있다. 다른 축에서는 ‘빅데이터는 기존 DW(데이터웨어하우스)의 연장선’이라는 견해도 있다.
즉, 전통적으로 기업에서 사용하고 있는 계정계 및 ERP와 같은 정형화된 RDBMS(관계형데이터베이스)에서 비정형(동영상, SNS, 로그, 센서 등)데이터를 합친 것을 빅데이터로 말하고 있다.
이런 단순 논리는 서버와 스토리지 기업 및 DB 업체의 판로를 열어주는 계기가 될 수 있다. 다양한 데이터를 얼마나 쌓는가에 따라 분석의 밀도는 높아질 수 있기 때문이다. 하지만 벤더들의 기대에 비해 기업들의 반응은 아직까지 시큰둥하다.
업계의 한 관계자는 “준비도 되어 있지 않고, 비즈니스 목적이 불분명한 상태에서 막연하게 데이터를 저장하고 분석한다는 개념 자체가 현실에 맞지 않다”고 지적했다. 한국오라클의 테크세일즈 컨설팅부 홍기현 상무도 “실제 SNS(소셜 네트워크 서비스)에 관심이 많은 기업을 대상으로 빅데이터라는 과제로 프로젝트를 진행하다 보면, SNS 데이터가 기대치에 미치지 못해 마케팅 활동을 하기에 역부족인 경우가 많다”고 말했다.
비즈니스 목적이 불분명한 상태에서 기업은 어떤 결론도 내릴 수 없다. 막연하게 분석만 한다고 해서 당장 기대할 수 있는 결과가 생겨나는 것이 아니라는 것. 빅데이터에 대한 이슈가 있다고 하더라도 관리에 대한 부재도 빅데이터 프로젝트 확대에 걸림돌로 지적되고 있다.
보안은 차치하고라도, 기업이 방대한 데이터를 관리하기 위해서는 그만큼의 비용 부담, 효율성의 문제, 기술적인 한계와 함께 데이터 관리자와 같은 인력부족의 어려움이 따른다. 인력부족 문제는 기업이 활용과 교육을 통해 꾸준히 추진해 나가야하는 과제이지만, 기술적인 어려움은 여전히 상존하고 있다.

▲ “비정형 데이터인‘하둡’은 저렴한 가격으로 대량의 데이터를 분석할 수 있는 기본 인프라는 갖추고 있지만, 정형 데이터처럼 업무 분석을 위한 노하우와 관련 솔루션이 부족하기 때문에 분석에 있어서 어려움이 있다. 따라서 현재는 비정형 데이터를 정형 데이터화 한 이후에 이를 분석하는 방식을 취하고 있다” 박상영 티베로 연구소 상무

비정형 데이터를 정형화하라

티베로의 박상영 상무는 “비정형 데이터인‘하둡’은 저렴한 가격으로 대량의 데이터를 분석할 수 있는 기본 인프라는 갖추고 있지만, 정형 데이터처럼 업무 분석을 위한 노하우와 관련 솔루션이 부족하기 때문에 분석에 있어서 어려움이 있다”며 “현재는 비정형 데이터를 정형 데이터화 한 이후에 이를 분석하는 방식을 취하고 있다”고 말했다.
오라클의 홍기현 상무도 “하둡은 간단한 통계분석이 가능하지만, 데이터마이닝과 같은 고난위도 분석에는 어려움이 있다. 분석에 대한 경험과 함께 다양한 분석도구가 없기 때문”이라고 지적했다. 하지만 빅데이터 프로젝트가 과거에 기업의 전산 시스템이 ‘메인프레임 환경에서 유닉스서버’로 이전하는 과정에서 많은 진통을 보인 만큼 앞으로는 기업에서도 ‘빅데이터’부분을 간과할 수만은 없는 입장이라는 것이 업계의 공통된 견해다. 지금도 기업에서는 다량의 데이터가 발생하고 있으며, 데이터를 어떤 형태로든 활용하는 것이 향후 기업 경쟁력 높이는 데 있어서 중요한 수단이 되고 있는 것이다.
빅데이터 시장을 견인할 수 있는 인사이트는 ‘비즈니스 목적에 부합된 효율적인 인프라 구축’이다. 지난 몇 년의 세월이 빅데이터에 대한 정의와 헤게모니를 고민했던 시기였다면, 현재는 실제적인 구현을 통해 기업 경쟁력을 높이는 방향으로 진화하고 있다. 주로 포털업체와 게임사 및 일부 제조사에서 추진하고 있는 파일럿 형태의 빅데이터 프로젝트는 빅데이터 시장을 여는데 있어서 전초역할을 한다는 점에서 고무적이다.
올 초에 삼성전자에서 비교적 큰 규모의 POC를 진행한 바 있다. 전화기를 비롯해 스마트TV, 갤럭시탭 등 다양한 디바이스에서 파생하는 로그에 대한 분석을 통해 결과값을 마케팅에 활용하기 위해서다. 이 프로젝트를 위해 데이터베이스 및 서버, 스토리지, 컨설팅 기업들이 대거 참여한 바 있다.
국내 모 게임사의 경우, 게임로그 분석을 위해 빅데이터 프로젝트를 진행하는 것으로 알려졌다. 게임로그를 분석하는 이유는 개발자들이 게임을 개발한 이후, 사용자 경험치를 얻기 위해서다. 사용자가 일정 부분 게임을 진행한 이후 더 이상 레벨이 오르지 않는 경우가 있다. 이는 게임 사용자의 피로도를 증가시켜 결국 게임을 포기하게 되는 결과를 낳게 된다. 패턴 분석을 통해 어느 레벨 단계에서 사용자들이 정체되고 있는지를 파악해 이를 적절하게 수정하는 방법을 취하기 위해서다.
해외의 빅데이터 사례는 비교적 보편화되고 있다. 박상영 티베로의 상무는 “대표적인 것이 아마존의 사례로, 아마존은 저렴한 스토리지와 간단한 시스템을 통해 자사의 장바구니 분석을 위해 비정형 데이터를 활용하고 있다”고 말했다. 한편 그는 “보통 분석을 위해서는 비정형데이터(로그)에서 일정의 패턴만을 정형화해서 분석하는 방법을 취하고 있다”고 말했다.

▲ “북미가 본사인 결혼정보회사 e-하모니는 인터넷을 기반으로 서비스사업을 하면서 쌓여가는 대량의 데이터 분석을 위해 정형화 과정을 거쳐 어플라이언스에 적제한 이후, 자사의 파워센터(데이터 통합솔루션)를 통해 분석했다” 임정혜 한국인포매티카 TCG 사업부 부장

빅데이터, 정책적 전략이 필요하다

인포매티카코리아의 TCG사업부 임정혜 부장은 “북미가 본사인 결혼정보회사 e-하모니는 인터넷을 기반으로 서비스 사업을 하면서 쌓여가는 대량의 데이터 분석을 위해 정형화 과정을 거쳐 어플라이언스에 적제한 이후, 자사의 파워센터(데이터 통합솔루션)를 통해 분석했다”며 “여기에는 네티자의 어플라이언스 서버와 마이크로스트레티지의 분석도구가 표함됐다”고 설명했다.
지불대행 서비스 회사인 페이팔은 급속도로 쌓여가는 트랜잭션 데이터(다양한 구매 데이터)를 여러 대의 서버를 통해 운영해왔지만, 더 이상 패턴 분석이 어려워지자 비교적 중요도가 덜한 데이터에 대해서는 하둡에서 처리하는 방식을 취했다. 지금까지 빅데이터라고 말할 수 있는 사례를 살펴보면 공통적인 부분이 있다. 모두가 기업의 비즈니스 목적에 부합하는 용도이거나, 데이터 사이즈가 크다거나, 기존에 DW(데이터웨어하우스)에서 확장을 위해 빅데이터 프로젝트를 진행했다는 점을 알 수 있다.
오라클의 홍기현 상무는 “데이터 관리자가 빅데이터 프로젝트를 진행하기 위해서는 ‘정책적인 전략’이 필요하다”고 지적하고 있다. 하둡은 분명히 필요한 기술이며, 향후 발전 가능성이 높은 분야이지만 현재 상황에 맞게 적절하게 혼용하는 정책이 필요하다는 것이다. 그는 “기존의 정형 데이터도 쌓이고 있는 만큼 쌓이는 속도가 확산될 수 있다며 이를 운영하기 위해서는 빠른 업무처리 속도가 요구된다”며 “기술적인 방법론은 갖춰져 있는 만큼 다양한 도구를 통해 여러 형태의 사례를 분석해 볼 수 있다”고 말했다.

2. 산업별 빅데이터 구축 동향
금융시장 빅데이터, 필요하지만 도입은 저조, 공공은 구체화 시작

보험·카드업 그나마 활용도 높아

국내 금융권의 경우, 빅 데이터 분석 및 활용에 대한 고민 하고 있지만 실질적인 행동을 취하는 기업은 많지 않다. 빅 데이터 활용을 위해 정형 데이터뿐만 아니라 비정형 데이터를 포함해 정보를 분석하는 것이 중요하다는 점은 수긍하지만 적절한 대응 방안과 비용 효과적인 측면을 장담할 수 없기 때문이다. 하지만 최근 금융권에서도 이러한 빅 데이터에 대한 고민과 관련 컨설팅 작업 등이 본격화되고 있는 조짐이다.

과거 금융권은 리스크 관리나 고객 관리와 같이 데이터 분석을 중요한 기반으로 삼았던 분야의 경우 굳이 빅데이터를 거론하지 않더라도 대용량 데이터의 분석과 유의미한 결과 값을 얻어내는 중요성은 인지하고 있었다.
하지만 이러한 작업이 내부 정보에 의존한 분석활동이었다면 이제 금융사들은 내부 정보뿐 아니라 외부에서 생성되는 막대한 데이터를 활용해 새로운 비즈니스 모델은 물론 평판 리스크, 잠재 리스크를 파악하기를 원하고 있다.
현재 금융권 빅 데이터의 현업 적용은 초보단계에 머물러 있는 것이 사실이다. 그나마 빅 데이터 활용이 이뤄지고 있는 곳은 보험과 카드사이다. 보험사들의 경우, 보험금 지급에 있어서 빅 데이터 분석 기법을 적용하고 있으며, 보험지급건 중 이상 징후가 파악되거나 기존 데이터와 비교 중 특이사항을 발견해 리스크에 대비하고 있다. 또 카드사들은 개인 및 법인 고객들의 소비행태를 파악해 분석함으로서 개인 및 기업별 맞춤 서비스를 제공한다는 방침이다.
반면 은행권 빅 데이터 도입은 아직 미진한 편이다. 일부 사업부별로 시범적으로 데이터 분석을 위한 솔루션 도입을 검토하거나 도입한 바 있지만 전사적으로 확대하지는 않고 있다. 업계는 은행들이 아직 빅 데이터 분석에 적극적이지 못한 이유에 대해 빅 데이터를 통한 비즈니스 모델을 어떻게 가져갈 지에 대해 구체적 전략을 세우지 못했기 때문이라고 전하고 있다. 은행권 한 관계자는 “빅 데이터 도입의 경우 IT 부서에서 정보계 부분을 검토하는데 실질적으로 빅 데이터를 어느 분야에 도입해야 하는지 구체적 검토가 필요하다”며 “데이터 분석은 무조건 도입하는 것이 아니라 어디에 배치하고 활용해야 하는지가 중요하다”고 전했다. 금융권이 빅 데이터와 관련해 관심을 두는 또 다른 이유는 ‘스마트 금융’을 통한 금융서비스 상품 제공과 연관이 깊다.
스마트 기기 보급으로 시작된 다양한 금융서비스들은 IT를 통해 해당 기업 금융거래 고객을 늘리는 동시에 새로운 금융상품을 팔기 위한 촉매제로 작용한다는 점에서 중요한 사업으로 자리매김 하고 있기 때문이다. 최근 금융 고객들의 성향이 빠르게 변화하며 관련 금융 시장의 패턴도 하루가 다르게 바뀌고 있다는 것이 금융업 관계자들의 설명으로, 이는 고객이 원하는 상품을 즉시적으로 출시해야 하면서 빅 데이터를 분석 및 연계하는 경우가 증가하고 있다는 것을 뜻한다.
특히 금융기관 현업 부서에서는 고객이 가장 선호하는 상품 제공을 위해 IT 부서에 고객 내부 수준 분석 등을 요구하고 있어서 IT 부서의 시뮬레이션 사례도 늘어나고 있다. 업계는 IT 부서들은 이를 위해 빅데이터 분석 시 수집, 분석, 활용 기간을 최대한 길게 책정하는 것이 좋으며 고객 입맛에 맞춘 상품을 제공하고 금융 서비스를 모색하기 위해서는 고객 타깃 마케팅이 연계돼야 한다고 강조한다.

▲ “‘빅 데이터=타깃 마케팅’이라는 공식이 정립되며 요구되는 점은 데이터에 대한 매커니즘의 업그레이드다. 매커니즘 업그레이드는 기술뿐 아니라 인력의 지원이나 업그레이드를 뜻하지만 특히 운영 인력의 부족으로 현업을 밀착 지원하기가 어렵다. 현업의 요구는 한걸음 앞서 나가고 있는 반면 IT부서의 적극적인 지원이 어려워 현실적인 한계점을 보이고 있는 것이다” 김유경 농협중앙회 정보보호 기획팀장

금융권 빅 데이터 활용 사례

농협은 빅 데이터 분석 및 활용에 대해 컨설팅 전문 기업과 스터디를 진행한 바 있다. 빅 데이터를 활용할 경우 마케팅 쪽을 공략할 예정이다. 하지만 빅데이터 관련 기술의 비용금액이 높아 더 이상 진보하지 못하는 경우가 많다고 전하고 있다. 이는 농협에서도 영업이나 사업부서에 타깃 마케팅을 위한 정보를 집어주지 못했던 큰 이유 중 하나다. 또한 빅 데이터 수행을 위한 적정 기반을 갖춰야 하지만 기존 툴들을 또 다른 형태로 교체해야 할지 그대로 활용해도 될지에 대한 결정 또한 미정된 상태다.
외환은행은 빅 데이터를 과거, 통합데이터 또는 EDW(엔터프라이즈 데이터웨어하우스) 등의 방법으로 IT에서는 어떤 형태로든지 데이터를 수집해왔다고 전하고 있다. 하지만 현재 음성 이미지 등의 활용과 인터넷뱅킹 및 다양한 매체를 통해 넘쳐나는 고객 출입정보를 어떻게 활용하느냐가 관건이라는 의견이다. 고려해야 할 점은 빅 데이터가 개인정보보호법과 밀접한 관련이 있다는 것이다. 데이터 수집을 위해 고객 사생활이나 개인 정보 수집 이슈와 충돌되는데 이에 대한 뚜렷한 대응방안은 없기 때문에 과거와 달리 개인 밀착 정보를 취득한다는 것 자체가 애로사항이다.

▲ “고객이 선호하는 상품개발이 빅 데이터 분석을 통해 가능한지를 살펴보고 있으며, 시뮬레이션을 진행해볼 계획이다. 빅 데이터와 관련한 두 번째 작업은 각 증권지점의 녹취가 중앙본사로 올라오는 것과 연계될 수 있게 하는 것이며 이 작업은 문서뿐 아니라 음성데이터 분석을 가능하게 한다. 또한 당사 고객이 어떠한 상품을 좋아할 것인가 파악하고 고객이 보유하고 있는 상품 종류와 추이 지점의 콜 상담 내역 등을 분석하는 데 집중한다는 방침이다” 박근성 신영증권 IT센터 이사

신영증권은 빅 데이터와 비즈니스가 연계돼 있는 부분을 어떻게 찾을 것이냐에 대한 논의를 이룬 바 있다.
고객 내부 수분이나 거래 규모가 틀리기 때문에 영업사원이 잘 알지 않는 이상 과거에 갖고 있던 상품들 채널로 접촉하는 부분들에 대한 개선과 이를 어떻게 새 상품들로 전환 시킬 수 있을지가 화두였기 때문이다. 신영증권은 고객이 선호하는 상품개발이 빅 데이터 분석을 통해 가능한지를 살펴보고 있으며, 시뮬레이션을 진행해 볼 계획이다.
빅 데이터와 관련한 두 번째 작업은 각 증권지점의 녹취가 중앙본사로 올라오는 것과 연계될 수 있게 하는 것이며 이 작업은 문서뿐만 아니라 음성 데이터 분석을 가능하게 한다. 또한 당사 고객이 어떠한 상품을 좋아할 것인가 파악하고 고객이 보유하고 있는 상품 종류와 추이 지점의 콜 상담 내역 등을 분석하는 데 집중한다는 방침이다.
상담 내역 음성분석을 통해 불만사항이 많은 고객을 추려낼 수도 있는 동시에 미래 상품 설계 시 고객이 어떤 것을 원하는 것을 알기 위해서는 분석 정보를 잘 파악할 수 있기 때문이다.
우리투자증권은 빅 데이터 수집과 분석에 대한 전 방향에 대해 예의주시 하고 있으며, 현재 기업 내부에 축적되고 있는 정형 데이터의 효과적인 사용부분에 보다 주안점을 두고 있다. 서버 로그분석, 내부통제를 위한 자료수집/분석을 위한 도구로의 사용을 높여 효과적인 내부통제 시스템 도입을 진행할 계획이다. 하지만 외부 비정형데이터를 포함한 빅 데이터 부분에 대해서는 현재 어떤 데이터를 어떻게 수집해 사용할 것인가에 대한 방법론은 고려중이다.
BC카드는 국내 금융권 최초로 빅 데이터 기반 상용분석 서비스를 내놓을 예정이어서 관심을 모은바 있다. BC카드 측은 KT가 인수한 빅 데이터 분석업체와 수개월간 파일럿 프로젝트를 진행한 결과 카드 승인관련 데이터 분석처리에서 성과를 거둬 작년 하반기 이를 활용한 빅 데이터 전문 서비스를 출시해 은행권 회원사와 고객사에 제공하고 있다고 밝혔다.
BC카드는 특히 카드 승인관련 로그분석 결과, 특정은행의 경우 한도 부족에 따른 승인불능이 잦은 것으로 나타났는데 그 원인을 분석해 한도조정에 적용할 경우 회원사 매출확대는 물론, 각종 카드사고 예방에도 기여한다는 방침이다. KB국민카드가 실시간 처리 빅 데이터프로젝트 발주에 나선 가운데 금융권 빅 데이터 확산 촉매제가 될지 주목되고 있다. 올해 초 업계에 따르면, KB국민카드가 발주한 ‘실시간 마케팅’ 빅데이터 사업에 삼성SDS와 LG CNS, SK C&C 빅3 IT 서비스사가 입찰에 참여한 것으로 알려져 관심을 끌고 있다. 특히 카드업종은 마케팅과 서비스에 따라 실적이 좌우되는 시장이기 때문에 KB국민카드가 먼저 도입한 빅 데이터 분석 기술이 효과를 보게 되면, 타 카드사는 물론 금융권 전반으로 확산될 수 있을 것으로 전망되고 있다.

▲ “빅데이터 사업 추진에는 많은 인력과 예산이 소요되며, 상당 시간이 경과된 이후에도 원하는 성과가 나오지 않을 경우 매몰비용이 발생할 수도 있다. 사내 여러 부서와의 유기적인 관계와 사외 업체와의 협업체제가 필요할 것으로 생각된다“ 안찬성 시스템경영반 처장

공공, 빅데이터로 행정 서비스 품질 제고

공공분야의 빅데이터 사업들이 하나 둘 가시화되고 있다. 최근 정부통합전산센터를 비롯해 안전행정부, 미래창조과학부, 한국과학정보기술연구원 등 주요 공공기관에서 잇따라 빅데이터 시범사업을 발주 또는 계획 중이다.
정부통합전산센터는 정부 3.0 기조에 발맞춰 ‘클라우드 기반의 빅데이터 분석 파일럿 시스템 구축사업’을 진행할 예정이다.
최근 발표된 센터의‘1차 정보자원 통합구축’사업의 일환으로 추진되는 이 사업은 전체 사업 투입예산 총 380억 원 중 3%가량(약 12억 원)이 빅데이터 사업에 할당될 것으로 업계는 추정하고있다. 안행부와 경찰청도 ‘빅데이터 공통기반 및 시범서비스 구축’에 약 40억 원을 투입할 계획으로 현재 관련 업체의 의견을 수렴하고 있는 단계이다. 안행부와 경찰청은 연내로 행정·공공기관과 민간 데이터를 연계·수집하기 위한 플랫폼을 구축하고, 이를 경찰청 유관시스템에 도입해 빅데이터 분석체계를 만들 계획이다.
미래부 또한 최근 ‘빅데이터 활용 스마트서비스 시범사업’을 진행하겠다고 발표했다. 8억2000만 원 규모의 이 사업은 오는 9월 시범 운영을 시작으로 연내 구축을 완료할 계획이다. 또한 미래부는 2016년까지 민간·정부가 약 5000억 원을 빅데이터 기반 조성에 투입한다는 내용의 ‘빅데이터 마스터플랜’도 수립했다. 서울시도 빅데이터 기술을 시정에 도입한다. 시는 2014년에 택시 공차율을 낮추고 시민 불편을 해소하기 위해 ‘시민과 택시의 지능적 매치 메이킹 서비스’를 추진할 계획이다. 이는 민간 유동인구 정보와 서울시 교통정보의 융합·분석으로 최적의 승차 위치를 도출, 택시 입장의 손님 태우기와 시민 입장의 택시 잡기가 쉬운 위치를 찾아주는 지능적 서비스이다. 또 2015년에는 빅데이터 활용기법을 심층 확대해 시민, 행정 및 사물정보를 융합한 ‘재난·재해 예측 및 조기 감지 대응’과 ‘자살 방지 데이터 분석’을 통한 시민 캠페인 전개가 가능하도록 할 계획이다.

▲ “빅데이터 도입을 위해서는 개방했을 때 문제 발생 소지가 있는 자료를 제외하고 가능한 많은 자료를 단계적으로 개방해야 빅데이터 도입이 실효를 거둘 수 있을 것으로 생각된다” 이재원 기상청 기상자원과장

공공, 빅데이터 활용해 서비스 효율화 시도

기상청도 ‘빅데이터를 활용한 기상정보의 산업화 추진’사업을 진행하고 있다. 청은 올해 빅데이터 산업계 서비스 추진을 위한 전문가 지원단을 구성해 사회 각 층의 의견을 수렴하며 기상기후자료와 사회경제자료를 융합한 빅데이터 활용정책을 수립하는 한편 이와 관련된 정보시스템 구축을 위한 ISP를 수립할 예정이다. 이를 바탕으로 2014년부터 빅데이터를 수립, 처리, 활용할 수 있는 기술을 개발해 국민생활과 밀접한 맞춤형 기후정보 서비스, 기후자료를 이용한 정책 수립 및 의사결정을 지원할 수 있는 서비스를 개발할 계획이다.
기상청은 기상정보 빅데이터 플랫폼 활용을 통한 Mash-up 1, 2단계 시범서비스를 구축, 운영할 계획인데, 그 중 1단계에 해당하는 스마트 교통정보 제공 시범 서비스는 실시간 기상정보에 따른 구간별 사고 위험도를 연동하는 시스템이다. Mash-up 2단계에서는 기상정보와 의료 서비스 융합을 통한 ‘U-헬스케어 웨더 시범서비스’와 기상정보와 에너지 분야 정보 융합을 통한 ‘에너지 감축 스마트 웨더 시범서비스’를 운영할 계획이다.
한국남동발전은 공공부문에서 가장 먼저 빅데이터 분석을 업무 프로세스에 내제화한 사례로 꼽히고 있다. 남동발전은 지난 3월 연료공급망 관리에 빅데이터 분석 기법을 도입해 중국, 러시아, 캐나다, 호주, 인도네시아 등에서 도입되는 유연탄의 배선 계획 수립부터 설비, 하역, 소비까지 통합적으로 관리하는 시스템을 갖췄다. 발전소가 사용하는 각종 석탄연료의 성상관리 등에도 빅데이터 분석을 도입, 최적의 연소효율을 실현하는 시나리오를 수립해 발전효율을 높인다는 방침이다.
또한 각종 발전설비 등에서 발생하는 방대한 양의 데이터를 활용해 기기의 고장, 작동 오류를 사전에 예측하고 대응하는 체계도 구현한다. 이를 통해 정비일정을 조정하고 장비교체 시기를 보다 분명하게 결정할 수 있게 될 전망이다.
이렇듯 빅데이터는 현재 정부 및 공공기관 사이에서 커다란 화두다. 공공 관계자들은 빅데이터를 통해 타 기관 자료와의 융합 서비스를 창출하고, 시민의 목소리를 효과적으로 정책에 반영함으로써 시의성 있는 정책 및 서비스를 제공할 수 있는 기회로 보고 있다. 빅데이터 업계 관계자는 “공공 빅데이터 시장은 2014년부터 고성장을 시작해 향후 5년간 5000억 원 규모로 성장할 것”으로 전망했다.

오픈 API 통해 단일 플랫폼 환경 구축

공공부문의 빅데이터가 산업계와 차별된 점이 있다면, 공공정보의 개방과 융합이 중요하다는 점이다. 공공기관이 빅데이터를 도입하려면 다양한 분야의 방대한 자료를 네트워크상에서 수집할 수 있어야 하는데 현재 네트워크상에 개방하고 있는 자료는 각 기관별로 한정돼 있다. 개방된 공공자료가 없이는 정보 융합도 불가능하고, 빅데이터 활용도 어렵다.
이재원 기상청 기상자원과장은 “빅데이터 도입을 위해서는 타 기관 자료와의 융합을 통해 부가가치를 창출해야 하는데, 개방했을 때 문제 발생 소지가 있는 자료를 제외하고 가능한 많은 자료를 단계적으로 개방해야 빅데이터 도입이 실효를 거둘 수 있을 것으로 생각된다”며 “이에 기상청은 오픈 API로 무장한 웹플랫폼화된 빅데이터 전략을 가져갈 방침”이라고 밝혔다. 마치 페이스북이나 트위터, 카카오톡이 API를 공개함으로써 제3의 사업자가 앱을 만들어 생태계 확장을 꾀하고 있는 것과 마찬가지로, 기후자료 활용 오픈 API를 통해 향후 민간자료가 융합되면 또 다른 자료융합 서비스가 창조될 것으로 청은 기대하고 있다.
빅데이터 산업 진흥을 위해 규제도 완화될 전망이다.
방통위는 하반기까지 빅데이터 관련 업체와 교수, 법조계 인사 등으로 전담팀을 꾸려 빅데이터 사업추진 시 공유가 가능한 개인정보 수준에 대한 가이드라인을 만들기로 했다. 개인정보보호법이나 정보통신망법 등의 조항을 살펴 개인정보보호와 빅데이터 산업진흥이라는 두마리 토끼를 잡겠다는 의지다.

3. 빅데이터를 구축하려면?
성공적인 빅데이터 구축전략

▲ “하둡은 성장 가능성은 높지만, 프로그래밍적인 요소를 많이 필요로 하기 때문에 다루기가 쉽지 않다. 경험있는 정형화 방식의 EDW와 연동하는 분석 방법을 취하는 것이 현명하다” 홍기현 한국오라클 테크세일즈컨설팅 상무

실제적으로 빅데이터를 구축하기 위해서는 정형 데이터와 비정형 데이터를 혼용하는 하이브리드 방식의 방법이 가장 현실적이라는 지적이 높다. 한국오라클의 홍기현 상무는 “하둡은 물론 성장 가능성은 높지만, 프로그래밍적인 요소를 많이 필요로 하기 때문에 다루기가 쉽지 않다”며 “경험 있는 정형화 방식의 엔터프라이즈데이터웨어하우스(EDW)와 연동하는 분석 방법을 취하는 것이 현명하다”고 말했다.
비정형 데이터인 하둡의 경우, 국내에 소개된지 얼마되지 않아 분석경험이 없는데다가 하둡을 다룰 수 있는 사람이 전무하다는 한계가 있다. 적어도 기존의 DW는 다양한 분석 경험이 있으며 경험을 통해 배워왔던 데이터의 구조와 패턴에 대한 이해가 높다. 하둡은 대용량의 파일을 저렴한 가격으로 분석할 수 있다는 메리트는 있겠지만, 너무 맹신해서는 안된다는 것이 업계의 지적이다. 극단적으로 표현해서 간단한 통계분석 정도를 처리할 수 있을지는 모르지만 복잡한 분석을 위해서는 분석 도구가 아직은 부족하고, 신뢰하기에 어려움이 있다는 것이다.
하지만 비정형 데이터인 하둡은 앞으로 기술적인 발전이 충분히 기대되는 분야이며, 대량의 다양한 데이터를 분석하는 데 있어서 없어서는 안될 중요한 자원으로 떠오르고 있다. 기업에서도 앞으로 데이터의 중요성을 인식한다면 하둡을 간과할 수는 없는 상황이 꼭 올 것으로 보인다. 현재 전문가들이 추천하는 운영 형태는 제조사의 센서 데이터나 SNS등 다양한 비정형 데이터를 하둡과 같은 저렴한 DB를 통해 추출해 내고, 이를 정형화시켜 기존의 데이터웨어하우스(DW)에서 데이터마이닝과 같은 고난위 분석을 진행하는 ‘하이브리드’방식이다.

▲ “빅데이터는 IT 트렌드라기보다는 비즈니스 트렌드에 가깝다. 빅데이터를 IT 관점에서 시스템 구축에만 초점을 맞춘다면 실패하기 쉽다” 주재영 팁코소프트웨어코리아 지사장

빅데이터, 비즈니스와 연결돼야

성공적인 빅데이터 프로젝트 구축을 위해서는 인프라단에서 운영에 대한 효율화를 꾀하는 것도 중요하지만 무엇보다도 실제 ‘비즈니스와 부합된 빅데이터 전략’을 취하는 것이 현명하다. 전문가들은 빅데이터의 장점을 잘 살펴보고, 이를 기업의 비즈니스 모델과 적절하게 매핑해서 최적의 효과를 낼 수 있는 ‘전략적인 접근 방식’을 취할 필요가 있다고 지적한다.
팁코소프트웨어코리아의 주재영 지사장은 “빅데이터는 IT 트렌드라기보다는 비즈니스 트렌드에 가깝다. 빅데이터를 IT 관점에서 시스템 구축에만 초점을 맞춘다면 실패하기 쉽다”고 말했다. 빅데이터를 운영 관점에서 보면 데이터를 저장하고, 분석하며, 일정의 패턴을 뽑아내는 것이 기본 구성으로 되어있지만 무엇보다 비즈니스 활용측면에 초점이 맞춰져야 한다는 것.
팁코소프트웨어에서는 ‘실시간 이벤트 처리’를 강조하고 있다. 실시간 이벤트 처리는 과거에 고객관계관리시스템(CRM)에서 캠페인관리에 가까운 고객 접근 방법이다. 고객의 행동을 파악해 실시간으로 적절한 오퍼를 제안하는 방법을 취하고 있다. 예를 들어, 한 고객이 12시에 책을 사고, 근처에서 점심을 먹는 일정 패턴이 감지된다면 이 고객에게 근처 제휴사나 자사 매장 방문 시 할인율을 적용하는 오퍼를 보내게 된다. 이럴 경우, 고객이 매장을 방문하게 되는 확률은 높다.
일반적으로 자주 걸려오는 대출관련 권유전화나 스마트폰을 교체한지 얼마되지 않았는데 최신 스마트폰으로 교체하라는 권유전화는 타깃화된 마케팅을 위해 고객분석을 전혀 하지 않았다는 점을 나타낸다. 일반적인 무작위적인 메스 마케팅은 노력대비 효율이 전혀 나지 않는다. 타깃화된‘실시간 이벤트 처리 기술’은 가격 경쟁이 심한 유통회사나 가입자 포화상태로 기존 가입자의 이탈을 방지해야할 통신사, 수율관리를 위한 제조사에 효율적으로 활용될 수 있다.
과거의 CRM 프로젝트는 실시간 이벤트를 통한 ‘타깃화된 마케팅’을 강조했던 적도 있지만 이론적인 측면이 강했다. 기술적인 뒷받침이 부족했으며, 고객 데이터 분석에 대한 경험도 부족한 상태에서 많은 애로를 겪었다.
하지만 최근 메모리 DB를 이용한 빠른 분석 처리가 가능해지고, 정형화된 데이터외에 비정형데이터 분석이 이뤄지면서 보다 정교화된 타깃 마케팅을 할 수 있게 됐다.

빅데이터의 속성과 현재 기술을 파악하자

팁코에서 강조하고 있는 실시간 캡처기술은 정형이든 비정형이든 의미 있는 데이터를 분석해 비즈니스에 직접적으로활용하는것으로, ‘룰기반의처리’기술로 실시간으로 비즈니스 오퍼를 한다는 것이 핵심이다. 가장 직접적인 효과를 볼 수 있는 곳이 제조분야다. 제조회사의 생산라인에는 다양한 센서 데이터와 작업과정에 있어서 업무 데이터들이 생성된다.
불량이 발생할 경우, 불량주기의 데이터를 분석해보면 일정의 패턴을 발견할 수 있다. 이런 패턴을 보정함에 따라 불량률을 줄일 수 있으며, 평소에도 과거에 불량률을 보인 일정의 패턴이 감지되면 선재적으로 불량을 막을 수 있게 된다.

▲ “생산라인 속도를 빠르게 하고 품질을 개선하기 위해서는 센서 데이터를 취득해서 이를 분석한 후 공정에 반영하는 과정이 필요하다” 이주찬 굿모닝아이텍 대표이사

‘데이터를 이용해 가치를 창출할 수있는 분야’라면 빅데이터 프로젝트에 해당되는 영역이다. 굿모닝아이텍의 이주찬 대표는 “제조영역에서 보면 진정한 빅데이터는 산업 데이터”라며 “생산라인 속도를 빠르게 하고 품질을 개선하기 위해서는 센서 데이터를 취득해서 이를 분석한 후 공정에 반영하는 과정이 필요하다”고 말했다. 과거 일의 패턴을 살펴보는 데 있어서 빅데이터가 필요하며, 개선점을 찾아 효율화한다면 빅데이터 프로젝트는 성공한 것이나 다름이 없다.
앞으로 빅데이터 시장은 가능성이 충분한 시장이라는 것에 대해서는 누구나 공감하고 있다. 기존의 기업 업무 데이터를 비롯해서 각종 조회 데이터, SNS 데이터, 산업 및 장비에서 생성되는 센서 데이터, CCTV에서 송출되는 영상 데이터 등 빅데이터가 다뤄야할 영역은 무궁무진하다. 현재는 기업 업무 향상을 위해 고객 분석과 제품 호응도 및 반응분석을 위해 일부 데이터가 활용되고 있지만, 앞으로는 당뇨병 환자 등 사고의 위험이 있는 환자의 상태를 병원에서 원격으로 실시간 감지해 이를 분석하고 적절한 방법을 취하는 행태로 발전할 것으로 보인다.

빅데이터, 산업별 활용도 많아

또한 성범죄 및 범죄예방을 위해 CCTV에 담겨진 영상데이터를 분석하며, 다양한 디바이스에서 송출되는 센서 데이터를 통해 고객의 상태를 파악하고, 업무의 현황을 파악하는 등 데이터의 활용도는 앞으로 더욱 다양해 질 것으로 전망된다. 하지만 빅데이터 시장이 활성화되기 위해서는 전제 조건이 있다. 실질적으로 기업 비즈니스의 목적과 부합된 프로젝트가 돼야만 성공할 수 있다는 것이다. 해외 사례에서처럼 빅데이터 프로젝트를 진행한 기업의 패턴을 살펴보면, 데이터를 이용해 비즈니스를 추진하는 회사의 경우가 많으며, 기존의 DW에서 데이터 관리의 어려움 때문에 확장하는 개념으로 발전하는 상태가 많다. 또한 빅데이터라고 해서 처음부터 무리하게 확장하는 기업은 많지 않다.
대기업은 각 계열사의 요구를 반영해 큰 틀에서 빅데이터 프로젝트를 진행하고 있지만, 규모가 적은 기업이라면 전문 빅데이터 기업에게 서비스 형태로 프로젝트를 의뢰하는 것도 하나의 방법이 될 수 있다. 시즌별 이벤트를 진행하거나, 실험적인 마케팅이 필요할 때 외부의 데이터를 자사의 정형화된 데이터에 취합해 분석하는 것도 해결방안이 된다. 이것은 일종의 클라우드 서비스를 받는 형태가 될 것이다. 업계에서는 무엇보다도 데이터를 다룬 경험(실패 경험이라도)이 필요하며, 적어도 기업 내에서 데이터를 관리해본 전문가가 있다면 빅데이터를 활용하는 데 있어서 큰 어려움은 없을 것으로 보고 있다.