비정형 데이터 마이닝

텍스트 마이닝 

 

 

텍스트 데이터(Text Data)

• ASCII, UTF-8 등의 인코딩 표현
• 비정형 혹은 반정형의 데이터인 경우가 많음
• 자연어 처리(NLP: Natural Language Processing)에 기반하여 정보를 추출

 

텍스트 마이닝 절차

 

1. 데이터 수집 : 비정형/ 반정형 텍스트 데이터를 수집

2. 데이터 처리 : 특정 키워드나 의미있는 요소를 추출 / 전처리(preprocessing) 수행

3. 데이터 추출 :  수학적 모델이나 알고리즘으로 정보 추출 / NLP,TF-IDF 등의 방법 사용

4. 데이터 분석 : 최종 키워드, 의미있는 요소의 우선 순위를 도출하는 단계

 

 

자연어 처리(Natural Language Processing)

NLP라고도 부르며 인간의 언어 현상을 컴퓨터에서 모사할 수 있도록 연구하고 구현하는 인공지능의 주요 분야

 

작업

• 형태소 분석 /예) 나는 = 나(대명사)+는(조사)
• 품사 부착 - 적절한 품사를 부착하여 문장 완성
• 구절 단위 분석 - 명사구/ 동사구/ 부사구 등
• 구문 분석, 어휘 분석

 

텍스트 마이닝 방법론

 

어휘 분석(Lexical Analysis)

• 문장 분리(Sentence Splitting)
  • 말뭉치(corpus)를 문장 단위로 분리
  • 마침표(.) 등의 기호를 이용하여 분리
• 토큰화(Tokenize)
  • 토큰(token)은 의미를 가진 문자열
  • 이후 작업을 위하여 토큰으로 분리
• 형태소 분석(Morphological Analysis)
  • 단어의 수를 줄여 분석의 효율성을 높임
  • 예) cars와 car, stopped와 stop
• 포스 태깅(POS Tagging)
  • POS(Part-Of-Speech)
  • 토큰의 품사 정보를 할당하는 작업

어휘 분석의 예시

 

 

TF-IDF

• 여러 문서로 이루어진 문서군에서 출현하는 특정 단어가 문서 내에서 중요한 정도를 표현하는 통계적 수치
• TF와 IDF의 곱으로 표현 ➭ tfidf(t, d, D) = tf(t, d) X idf(t, D)

TF(Term Frequency): 문서 내에서 특정 단어의 출현 빈도

• 문서 내의 단어의 측정 빈도를 측정
• 자주 등장할수록 ➭ 해당 언어의 중요성 증가

IDF(Inverse Document Frequecy) : 문서군 내에서 등장하는 단어의 빈도

 

 

---

 

 

멀티미디어 마이닝

 

 

멀티미디어(Multimedia)

• 오디오(Audio)
  • 소리를 디지털 데이터 형태로 저장
  • 예) WAV, MP3, AAC 등의 파일 형식
• 이미지(Image)
  • 시각 정보를 디지털 데이터 형태 저장
  • 예) JPEG, PNG 등의 파일 형식
• 비디오(Video)
  • 소리와 시각 정보를 시간의 흐름에 따라 저장한 데이터 형식 
  • 예) MPEG4, HEVC
• 뉴미디어(New Media)
  • 위의 유형으로 정의할 수 없는 멀티미디어 데이터 형식

 

 

멀티미디어 마이닝 방법론

 

특징 추출(Feature Extraction) : 멀티미디어 데이터를 사람의 힘으로 분석하고 이에 따라 특징(feature)을 추출하는 방법

딥 러닝(Deep Learning) : 전처리 된 멀티미디어 데이터에 대하여 인공신경망(ANN)등의 방법론을 적용하여 자율학습을 하여 특징을 추출하는 방법

 

 

멀티미디어 특징 추출의 예시

• 오디오(Audio)
  • 프레임(frame)별 통계적 정보 추출
  • 푸리에(Fourier)변환을 통한 정보 추출 (주파수 영역)
• 이미지(Image)
  • JPEG등의 기반 기술인 DCT, DWT등을 적용하여 특징 추출
• 비디오(video)
  • 인터(inter) 및 인트라(intra) 특징 추출
  • H.264, HEVC등의 코덱 특징에 기반
• 뉴미디어(New Media)
  • 오디오, 이미지, 비디오의 특성 활용
  • 현장, 무대, 설치 등의 특성 활용

 

---

 

 

소셜 네트워킹 서비스(social Networking Service)

• 사용자간의 자유로운 의사소통과 정보 공유, 인맥 확대 등을 통하여 사회적 관계를 생성하고 강화하려 주는 온라인 플랫폼

특징

• 사회적 관계망을 생성, 유지, 강황, 확장 가능
• 최근의 SNS 서비스는 대부분 웹 기반
• 빅데이터 분석을 통한 마케팅 활용가치 높음

 

소셜마이닝 방법론

 

1. 문서 수집(Crawling)
   • SNS 등을 통하여 사용자의 무선 수집
   • 사용자의 저작권 및 개인정보 유의
2. 필터링(Filtering)
   • 스팸 데이터, 무관 문서 등을 필터링
   • 연관문서를 토대로 분석
3. 자연어처리 분석(NLP Analysis)
   • 자연어처리 방법론의 다양한 기법을 활용하여 연관어 분석
4. 데이터 분석 보고(Reporting)
   • 분석 결과를 시각화하고 해석하여 보고