빅데이터의 수집

빅데이터의 생성

 

데이터(Data) : 관찰 및 측정을 통한 획득 / 단순한 사실이나 결과 / 가공되지 않은 상태

정보(Information) : 데이터를 가공하여 얻은 결과, 의사결정에 기여

 

정량적 데이터(Quantitative Data): 언어, 문자 등이 계량 가능 형태 / (그릇이 정해져있어야함) ➭ 정형, 반정형 데이터 형태

정성적 데이터(Qualitative Data):  언어, 개념 등 추상적 형태 / 비정형 데이터 형태

 

 

빅데이터의 수집

 

정의 : 시스템의 내외부에서 주기성을 가지고 필요한 형태로 데이터를 모으는 작업

 

역할 

• 유용한 데이터를 선택 ➭ 산출물 품질 향상
• 최적의 방법론 선택 ➭ 수집 안정성 극대화
• 수집 소요 비용 최소화

 

빅데이터 수집 절차 설계

1. 수집 데이터 선정 - 다양한 요소를 고려하려 선정
2. 세부계획 수립 - 위치, 유형에 따른 계획서 작성
3. 테스트 수집 진행 - 테스트를 통해 기술/ 행정 검토
4. 수집 진행

 

수집 데이터 선정

 

가능성 : 불가능 혹은 주기 통제 가능 여부 확인

정확성 : 내용 정확성/정밀성, 사전처리 필요 여부

난이도 : 비용, 수집 과정에 따른 대안 고려

비용 : 데이터 획득에 필요한 직접 비용 검토

보안 : 개인정보보호 및 저작권 문제 검토

 

 

세부계획 수립

 

데이터의 위치와 유형 파악: 내부 혹은 외부 데이터 여부확인 ➭ 기관 협의 고려

특징, 구성, 형태 등 파악 ➭ 방법론 선택에 영향

 

수집 계획서 작성

데이터 소스, 수집 주기, 수집 방법을 포함하여 작성 (반드시 포함)

 

 

테스트 수집 진행

기술적 검토 : 데이터 누락, 원본 데이터와 비교, 정확성 측정

행정적 검토 : 보안성, 저작권, 트래픽 발생량등

 

 

빅데이터 수집 계획서

데이터 소스 : 소스 위치, 형태, 인터페이스 , 실무자 협약 상세

수집 주기: 주기시간(규칙성) 또는 실시간(불규칙성), 데이터/트래픽량

수집 방법: 수집 기술, 사전/사후처리,대안

 

 

빅데이터 수집 도구

 

인적 자원 활용 :

• 사람을 통하여 데이터 수집
• 인적 자원 비용 발생
• 오해석 또는 오차등의 문제점

자동화 도구 사용:

• 대부분의 과정에서 사람의 개입 없음
• 인적 자원 비용 최소화 가능
• 데이터 원천의 형태에 따라 적용이 불가능할 수도 있음

 

빅데이터 자동화 수집 기술

 

네트워크 수집

• 크롤링(Crawling): 사전 정의 패턴에 따라 정해진 네트워크 지점의 데이터 수집
• OpenAPI: 데이터 배포자 제공 인터페이스

로그/ 센서 수집

• 로그 (Log)수집: 기관 단체 내부의 수집 / 작동 또는 이용 패턴의 기록
• 센서 (Sensor)수집 : 센서 장치를 이용한 기록

 

수집 사례

 

JSON(Javascript Object Notation):

• XML 유사 데이터 정형화 방식
• 인터넷 상의 데이터 송수신 방식
• 텍스트 형태, 작응 용량, 빠른 변환 속도
• 프로그래밍 언어 또는 플랫폼 독립적

Flume:

• 2010년 Cloudera 개발, 로그 데이터 수집기
• 분산 데이터 통합 가능, 안정성 가용성 높음

Chukwa(척와):

• 2008년 Yahoo 개발, 로그 데이터 수집기
• 아파치 하둡 기반, 실시간 분석 기능

SQOOP(스쿱):

• SQI-to-hadOOP, 다양한 DBMS 벤터 호환
• DBMS, 하둡, NoSQL 간 데이터 연동에 적용

OpenRefine(오픈 리파인):

• 2010년 Google의 오픈 프로젝트
• 데이터 정제 도구: 오류 수정, 데이터 정리
• 데이터 연계 API 및 워크 플로우 기능 제공

Protocol Buffers( 프로토콜 버퍼):

• Google의 오픈 소스 직렬화 라이브러리
• 다양한 플랫폼 간의 통신 가능