데이터 마이닝

💻 IT/빅데이터

Record_er 2024. 4. 26. 21:05

데이터 마이닝(Data Mining)

정의

빅데이터 시대의 의미

데이터 마이닝의 적용 분야

분류(classification) : 일정한 집단에 대한 특정 정의를 통하여 분류 및 구분의 형태를 추론하는 분야

군집화(clustering) : 구체적인 특성을 공유하는 군집을 찾음 / 미리 정의된 특성 정보가 없이 군집을 탐색

연관성(association) : 동시에 발생한 사건 간의 관계를 정의하는 분야

연속성(sequencing) : 특정 기간에 걸쳐 발생하는 관계를 규명 / 연관성 분석과 달리 기간 특성을 고려

예측(forecasting) : 빅데이터 집합 내의 패턴을 기반으로 미래에 발생하는 데이터의 형태를 예측하는 분야

데이터 마이닝 방법론

1. 프로젝트의 목적과 적용 가능성을 확인한다.

2. 분석에서 사용할 데이터를 수집한다.

데이터베이스에서 무작위로 표본을 추출
내부데이터와 외부 데이터를 수집
수집 방법론
- 수집데이터를 선정(경제성, 가능성 요인 확인)
- 세부계획을 수립 (기술적, 행정적 계획 수립)
- 테스트 수집 진행 후 수집 진행

3. 데이터를 전처리 한다.

4. 데이터를 축소하고 분할한다.

불필요한 변수를 제거
변수를 분석가능한 형태로 변환
새로운 변수를 생성
데이터를 다양한 데이터 집합으로 분할
데이터 집합의 종류
- 학습용 데이터 (training)(기계가 하는 학습)
- 평가용 데이터 (test, evaluation)
- 검증용 데이터 (verification)

5. 데이터 마이닝 기법을 선택한다.

6. 데이터 마이닝을 수행한다.

학습 방법론

supervised- 감독하다, 지도하다

지도학습(Supervised Learning)(교사학습) : 출력 데이터에 맞게 출력되도록 학습용 데이터셋을 이용하여 예측변수와 출력변수 간의 관계를 학습 (목표가 확실)

반지도학습(Semi-supervised Learning) : 지도학습과 자율학습의 방식을 조합하여 예측변수와 출력변수 간의 일부를 자율적으로 모델링하는 한편, 정해진 데이터셋에 대한 학습 또한 수행

자율학습(Unsupervised Learning)(비교사학습) : 출력변수가 명확히 정의되지 않은 경우 예측변수에 대한 자율학습을 통하여 모델을 구축하는 방법 (컴퓨터가 자기만의 구축구조를 만들어낸다. / 목표가 없다.)

데이터 마이닝 적용 사례

공공시스템

GPS 시스템

보건 / 의료

제조 / 물류 / 마케팅