|
|
 |
|
 |
| KISAC |
HOME >> 데이터사업 > 분석/가시화/거래 |
|
 |
 |
4차 산업혁명을 주도하는 빅데이터 기술 |
|
|
빅데이터는 규모(Volume), 다양성(Variety), 변동성(Velocity, 데이터 변동 속도)이 모두 커
서 기존의 방식으로는 분석하기 어려운 디지털 데이터를 의미한다. 여기서 말하는 기존 방식
이란 숫자 데이터를 정형화된 형태로 저장하고 모집단의 특성과 추세를 통계적으로 분석하는
것을 의미한다. 빅데이터는 수치화가 어렵고 형태가 다양하고 빠르게 변화하는 비계량적인 비
정형 변수들을 포함한다. 빅데이터 분석은 이렇게 비정형 데이터들에 대한 분석이 주를 이루
기 때문에 분석 결과가 특정 값으로 나타나기보다는 시각화된 형태로 나타나는 경우가 많다. 빅데이터는 4차 산업혁명의 핵심 요소로 자리 잡고 있다. 빅데이터는 특히 인공지능, 사물인터
넷, 증강현실, 가상현실, 자율주행차, 5세대 이동통신 등 향후 주목받는 신산업의 필수적인 요
소로 평가되고 있다. 이에 따라 세계 각국은 데이터 수집 및 분석 기술 활성화에 수많은 노력
을 기울이고 있다. 한국도 데이터 3법 개정과 디지털 뉴딜 추진을 시작으로 정책 및 제도 개
선을 위한 노력을 기울이고 있다. 예를 들어, 한국 정부는 민간 수요가 높은 국세청 등 정부
기관의 핵심 데이터를 개방하거나 인공지능 모델 학습을 위한 학습용 데이터를 정부 주도로
구축하는 등의 정책을 펼치고 있다. 즉, 빅데이터 기술 수준이 4차 산업혁명의 신기술 수준, 그리고 신산업 발전에 직결되면서 데이터와 데이터 가공 기술은 국가 산업 발전의 경쟁력이
되고 있다.
| [그림 1] 4차 산업혁명 대표 기술 |
 |
| ◎ 출처 ? 세계경제포럼(WEF) ‘직업의 미래’ |
데이터를 지배하는 기업이 4차 산업혁명을 주도할 것이라는 예측이 나오고 있으며, 데이터를
경쟁자보다 더 잘 활용하는 기업들이 2020년대의 산업을 주도하고 있다. 아마존의 경우 이용
자의 패턴을 빅데이터로 분석, 예측하고 배달해주는 기술을 적용하였으며, 지멘스의 경우 스마
트 공장의 센서 데이터를 이용하여 불량을 최소화하는 기술을 활용하고 있다. 데이터 활용뿐
만 아니라 데이터 생태계를 주도하려는 기업들의 노력도 상당히 진행되고 있다. 글로벌 대기
업들은 스스로 데이터를 확보할 수 있는 생태계를 구축하고, 참여 기업에 이익을 공유하는 방
식으로 비즈니스를 확립 중이다. 구글, 아마존, 애플, 페이스북 등은 자사 플랫폼과 기업, 가입
자 데이터를 연결하여 지속적으로 사업 영역을 확장시키고 있다. 빅데이터는 현재 고도화 단계로 데이터 활용 및 데이터를 기반으로 한 사업화 추진에 초점을
두고 있다. 2000년대 후반에는 빅데이터 발전 초기 단계로 데이터 수집과 인프라 구축에 중
점을 두고 있었으며, 2010년대 초반에는 빅데이터 발전 단계로 데이터 분석 기술 강화에 중
점을 두었다. 한편, 2010년대 초반까지 IT, 통신 및 금융 산업에서 빅데이터를 주로 활용했던
것과 달리, 2010년대 중반 이후부터는 전 산업에서 빅데이터 활용성을 논의 중이다.
|
|
|
빅데이터 분석과 시각화 |
|
|
빅데이터 기술은 데이터를 수집, 저장, 처리, 분석하고, 그리고 분석된 데이터를 시각화하는 기술을 의미한다. 빅데이터는 기존의 단순한 선형적 구조로 표현하는 것이 어렵기 때문에 데이터의 분석뿐만 아니라, 분석된 데이터의 시각화가 매우 중요하다.
| [그림 2] 빅데이터 분석과 시각화 |
 |
| ◎ 출처 ? 빅데이터 처리과정, 박두순외 5명, "울산 빅데이터, 통합센터 신설 등 고도화해야” focus daily 재인용
|
|
|
빅데이터 수집
데이터베이스는 특정 그룹이나 조직의 내부와 외부에 존재하는 데이터들의 수집을 기반으로
생성된다. 빅데이터 수집은 로그 수집기, 센싱, 크롤링, 오픈 API 기술을 통해 수행된다. 로그
수집기를 통해 조직 내부에 존재하는 웹 서버의 로그를 수집하고, 웹 로그, 트랜잭션 로그, 클
릭 로그, 데이터베이스 로그 데이터 등을 수집할 수 있다. 센싱 기술은 스마트팩토리 등에 있
는 센서를 통해 데이터를 수집하는 기술을 의미한다. 크롤링 기술은 주로 웹 로봇을 이용하여
조직 외부에 존재하는 소셜 데이터 및 인터넷 데이터에 공개되어 있는 자료를 수집해오는 기
술을 의미한다. 오픈 API 기술은 데이터의 생산, 공유, 참여 환경인 웹을 구현하는 프로그래밍
기술을 통해 필요한 데이터를 수집하는 기술을 의미한다.
빅데이터 저장 및 처리
작은 데이터라도 모두 저장하고 실시간으로 데이터를 처리할 수 있도록 대부분 분산 저장 시
스템을 활용한다. 저장된 데이터들을 실시간으로 처리하기 위해 분산 병럴 처리 방식을 주로
활용하며, 일반적으로 하둡(Hadoop)1) 분산 파일 시스템을 통해 이기종간의 하드웨어로 구성
된 컴퓨터 클러스터에서 대용량 데이터 처리를 수행한다.
빅데이터 처리는 빅데이터에서 유용한 정보와 숨어있는 지식을 찾아내기 위한 데이터 가공 및 분석 과정을 지원하는 기술을 의미한다. 대규모 데이터 처리를 위해서는 확장성이 필요하며, 데이터 생성 및 처리 속도를 해결하기 위한 처리 시간 단축, 실시간 처리 지원 및 비정형 데
이터 처리 지원이 필요하다. 이를 위해 하둡, NoSQL 및 구글 맵리듀스(MapReduce) 등을 통
해 데이터 처리를 지원하고 있다.
빅데이터 분석
빅데이터 분석 기술은 데이터를 효율적으로 정확하게 분석하여 비즈니스 등의 영역에 적용하
기 위한 기술로, 빅데이터에 숨어있는 패턴과 지식을 찾아내기 위한 기술을 의미한다. 빅데이
터 분석을 통해 찾아진 패턴과 지식을 토대로 비즈니스 영역에서는 의사결정을 수행한다. 빅
데이터 분석 기술에는 통계 분석, 데이터 마이닝, 텍스트 마이닝, 평판 분석, 소셜 네트워크 분
석 기술이 포함된다.
통계 분석은 R, SAS(Statistical Analysis System) 등을 통한 다양한 통계 기법을 통해 수
행된다. R은 빅데이터 분석 기술 도구로, 기본적인 통계 기법부터 데이터 마이닝 기법까지 구
현이 가능한 기술 도구이며, SAS는 통계 해석을 중심으로 한 소프트웨어 패키지이다. 최근에
는 기계 학습, 신경망 등을 이용한 데이터 마이닝 기술이 가장 각광받고 있다. 평판 분석은 소
셜 미디어 등의 정형 또는 비정형 텍스트의 긍정 선호도를 판별하여 분석하는 기술로, 주로
특정 서비스 및 상품에 대한 시장 규모 예측 및 입소문 분석 등에 활용된다. 소셜 네트워크
분석은 소셜 네트워크의 연결 구조 및 연결 강도 등을 바탕으로 사용자의 명성 및 영향력을
분석하는 기술이다. 이러한 빅데이터 분석을 통해 도출된 빅데이터의 패턴과 지식은 비즈니스
의사결정에 활용되고 있어, 비선형적인 결과 값을 알아보기 쉽게 표시하는 데이터시각화 기술
의 중요도가 증가하고 있다
|
|
|
 |
|
|
