빅데이터의 충격

빅데이터의 충격- 거대한 데이터의 파도가 사업 전략을 바꾼다!

 

지은이: 시로타 마코토

옮긴이: 김성재

감수: 한석주

출판사: 한빛미디어

출판일: 2013-01-02

 

전에 읽은 "클라우드의 충격"의 저자가 같은 스타일로 쓴 IT 교양 서적이다.

"클라우드의 충격"이 갖고 있는 장점인, 짧은 분량에도 해당 주제와 관련된 다양한 이이기를 매우 짜임새 있게 제시한다는 점이 이 책에도 잘 살아 있다.(단, 개인정보보호와 관련된 장황한 이야기만 빼고...)

 

- 빅데이터란 기존의 일반적인 기술로는 관리하기 곤란한 대량의 데이터군이다.

- 3V: 데이터양(Volume), 다양성(Variety), 속도(Velocity)

- 하둡이란 한마디로 말해 오픈소스로 공개된 대규모 데이터의 분산처리 기술이다. ... 하둡은 구글이2004년에 발표한 '맵리듀스: 대형 클러스터의 데이터 처리 단순화'라는 대규모 데이터의 분산처리에 관한 논문이 기반이 되었다.

- 요즘 미국에서는 하둡과 NoSQL 데이터베이스 관련 기업으로 벤처캐피털의 투자가 대규모로 이루어지는 상황이다. 대표적인 벤더가 클라우데라다. 클라우데라는 2009년 창업 이후 네 번에 걸쳐 투자를 받아 총 7,600만 달러라는 거액의 자금 조달에 성공했다.

- 분석적 데이터베이스: MPP Architecture, Shared Nothing Architecture, 칼럼 지향, 데이터 압축 기능, 범용 하둡에서 동작 가능, 어플라이언스로서 제공, 하둡 지원

- 다양한 분석 기술: 기계학습, 데이터 마이닝, 클러스터링, 신경망 네트워크, 회귀 분석, 결정 트리, 연관 분석, 자연어 처리, 시멘틱 검색, 링크 마이닝, A/B 테스트

 

- 징가: "우리는 게임 회사의 탈을 쓴 분석 회사다.", '3클릭 테스트'

- 센트리카: 스마트 계량기를 도입해 에너지 소비 패턴을 분석

- 카탈리나 마케팅: 쿠폰으로 고객의 구매 행동을 디자인. 전 세계 약 5만 5,000개 소매점에서 매주 3억 6,000만 명의 고객 구매 이력을 측정

- 코마츠: 건설기계에 GPS와 각종 센서를 장착해 기계의 현재 위치, 가동 시간, 가동 상황, 연료의 잔량, 소모품 교체 시기 데이터를 수집

- 리크루트: 취직, 전직 구인 정보에서 시작, 결혼, 주택 구매, 전직, 음식, 여행 등의 정보 제공. 추천 시스템을 구현하고 연관 분석, 속성 분석 등을 실시

- GREE: 'GREE 분석'이라는 데이터 마이닝 도구를 독자 개발. 사용자 등록일, 등록경로, 이용 상황, 이벤트 참가율, 사용률, 소비율, 아이템별 매출, 게임 진척 상황, 지속률 등의 사용자 동향을 시간 단위로 파악

- 맥도날드: '이득이 되는 모바일', '이득이 되는 앱'. 쿠폰, 상품정보, 점포 검색, 스탬프 캠페인 등을 제공

 

- 빅데이터 활용 사례: 상품과 서비스 추천, 행동 타케팅 광고, 위치정보를 이용한 마케팅, 부정검출, 고객 이탈 분석, 고장 예측, 이상 검출, 서비스 개선, 차량 정체 예측, 전력 수요 예측, 감기 예측, 주식 시장 예측, 연료 비용 최적화

- 빅데이터 활용 수준 : 과거와 현재의 현상을 파악 → 패턴 발견: 데이터 마이닝, 기계학습 → 장래 예측 → 최적화: 쿠폰으로 판매 신장, 혜택으로 우량 고객 이탈 방지, 요금 변경으로 공급 압박 해소

 

- 개인정보보호는 너무 어려워...

 

- LOD 운동: Linked Open Data. 지금 당장 로 데이터를!(Raw DATA Now!)

- 열린 정부 만들기: Data.gov, Data.gov.uk

- 플라이트캐스터: '항공사 실시간 운항 실적 및 운항 지연의 원인' 등의 데이터를 활용

- 클라이메이트 코퍼레이션: 농가를 대상으로 '종합기후보험'을 판매. 미국 농부부가 공개한 과거 60년분의 작물 수확량으로 옥수수, 콩, 가을 밀 등의 수확량을 예측

- NYC Big Apps: 'NYC Open Data'라는 뉴욕시의 공공 데이터를 이용한 애플리케이션 콘테스트

 

- 데이터 어그리게이터: 오프라인 중심의 비즈니스에서는 데이터 어그리게이터의 존재 의의가 크다.

- 데이터 과학자의 능력과 자질: 컴퓨터 과학, 수학, 통계, 데이터 마이닝 등, 데이터의 가시화, 커뮤니케이션 능력, 기업가 정신, 호기심

- 오페라 솔루션: '빅데이터를 이익으로 바꾸다'. 2011년 9월 벤처캐피털로부터 8,400만 달러라는 거액의 투자를 받았다.

- 뮤 시그마: 데이터를 바탕으로 의사결정을 하는 기업을 지원. 2011년 12월 1억 800만 달러라는 거액의 투자를 받았다.

 

- "분석으로 경쟁하라"

기업이 분석력을 다 살리지 못하는 이유는 사실 분석 방법이나 데이터양, 분석 기술과도 관계없다. (중략) 결국 분석 관리로의 전환을 방해하는 것은 기업에서 아주 흔히 볼 수 있는 다음과 같은 현상 때문이다.

- '우리는 옛날부터 이렇게 해왔어'라는 '상식'때문에 정당성이 검토되지 않는다.

- 경영진이 데이터나 시실에 입각하지 않는 의사결정을 해도 비판받지 않는다. 오히려 천재형 리더가 인기 있다.

- 분석 능력을 갖추고 데이터 속에서 보물을 찾아내려는 사람이 없다. 아무것도 떠오르지 않을 때 할 수 없이 하는 일이 분석이라고 여기며, 더구나 전문지식이 없는 사람이 분석을 한다.

- '그 아이디어가 좋으냐 나쁘냐'보다 '그것을 누가 말했는지'를 문제시한다.

 

- 데이터 주도형 기업Data Driven Enterprise: 데이터 분석 결과로 얻어진 통찰을 시의적절하게 비즈니스에 도입해 경쟁 우위로 이끄는 기업