대부분 정보를 얻기 위해 뉴스를 보면 빅데이터를 기반으로 한 분석 결과에 대한 자료들이 대부분이며, 많은 사람들이 그 자료의 분석에 대한 신뢰성이 꽤나 높은 편이다. 도대체 빅데이터가 뭐길래 다들 빅데이터 타령을 하는 것인가 싶겠지만, 소위 정보의 바다라고 불리는 인터넷에서의 빅데이터는 신뢰가 갈 수 밖에 없다.
정보의 바다 인터넷, 이제 너무 과하다!
인터넷은 세계 최대 규모의 컴퓨터 통신망으로, 처음의 기원은 그저 1960년대 미국 국방성의 지원으로 미국 4개의 대학을 연결하기 위한 알파넷(ARPANET)에 불과한 서비스였으나, 2017년인 지금은 전세계 40억 이상의 인구가 인터넷을 사용하고 있다. 40억이 사용하고 있는 만큼, 다양한 정보들이 판을 치고 있으며, 그 중에는 중복되는 자료들도 꽤나 있을 수 밖에 없으며, 과도한 정보로 인해 혼란이 갈 수 밖에 없는 실정이다.
방대한 정보를 분석하는 빅데이터 분석기술
그래서 나오게 된 것이 빅데이터 분석 기술이다. 주로 빅데이터는 지나치게 방대하여 기존의 방법이나 도구로 수집/ 저장/ 분석 등이 어려운 정형 및 비정형화된 데이터들을 의미한다. 현재 구글에서는 200만 건의 검색, 유튜브는 72시간의 비디오, 트위터에서는 27만건 이상의 트윗이 형성이 되는데, 이 정보들은 앞에서 말했다시피, 지나치게 방대한 것이다. 이러한 빅데이터들은 플랫폼들을 이용하여 빠르고 다양하고, 정확하게 분석을 할 수 있다.
빅데이터 플랫폼
빅데이터 플랫폼은 빅데이터 기술의 집합체이자, 기술을 활용할 수 있도록 잘 준비를 해놓은 환경구축과 다름이 없다. 벌써부터 기업들은 빅데이터 플랫폼을 사용하여 수집은 물론 저장, 처리 및 관리 등을 하고 있으며, 현재 빅데이터를 다루는 처리 기술로는 아파치 하둡과 같은 Map- reduced 방식의 분산 데이터 처리 프레임 워크이다.
빅데이터를 활용하는 사례가 증가하고 있다
현재 빅데이터는 다양한 사례들이 존재하는데, 근거에 대한 자료나 마케팅 등 다양한 방면으로 사용이 되고 있다. 2008년 미국 대선에는 버락 오바마 미국 대통령 후보가 다양한 형태의 유권자 데이터베이스를 확보하며 이를 분석하고 유권자 맞춤형 선거 전략을 전개한 것은 물론, 2014년 FIFA 월드컵과 독일의 우승에도 빅데이터가 활용이 되었다. 선수들에게 부착된 센서를 통해 운동량, 순간속도, 심박수, 슈팅동작 등 방대한 비정형 데이터를 수집하고, 분석하여 선수들이 훈련을 할 수 있게 데이터들을 기반으로 전술을 짤 수 있게 도움을 주기도 하였다.
이렇게 빅데이터는 다방면으로 활용이 되어가고 있으며, 빅데이터 분석을 통해 어느정도 인간의 생활패턴이나 대략적인 추측에 대한 결과를 미리 알아볼 수 있어 추론도 가능하며, 현재로도 많은 인력들을 요구하고 있기 때문에 IT 분야에서 빅데이터는 꽤나 전망이 있는 분야가 아닐까 싶다.