빅데이터 저장소

cap 이론

 

⋆ 일관성(Consistency) : 모든 노드는 동일 시점에 동일 데이터 출력이 보장

⋆ 가용성(Availability) : 노그가 이용 불가능해도 다른 노드 정상 작동 보장

⋆ 지속성(Parttition Tolerance) : 데이터 손실이 발생해도 시스템 정상 작동 보장 (RDBMS는 지속성에 한계가 있다.)

✔ 노드란? : 빅데이터 처리 및 분석을 위한 컴퓨팅 자원을 제공하는 컴퓨팅 장비입니다.

 

 

RDBMS의 대안

 

⋆ 하둡(Hadoop) : 하둡 분산파일 시스템(HDFS) , 대용량 데이터 처리에 용이하다 

⋆ NoSQL : 비관계형 데이터 저장소 , 데이터의 손실에 대처 가능하다

⋆ 레디스(Redis) : NoSQL의 일종이며 key-value 구조 저장소, 인메모리 저장소 구조

⋆ 우지(Oozie) : 자바 서블릿 컨테이너 기반 작업 엔진, DAG 표현 기반 작업(job)제어

 

 

하둡 분산 파일 시스템(HDFS)

 

구성요소

⋆ 네임노드 서버 : 파일의 위치(iNode), 메타정보 관리, 클라이언트 요청

⋆ 보조 네임노드 서버 : 네임노드 서버의 백업 역할, 파일 시스템 복구

⋆ 데이터 노드 서버 : 고정된 크기의 블록 단위로 데이터를 나누어 저장

데이터 요청 방법

 

 

 

NoSQL(Not-Only-SQL)

 

데이터 모델별 분류

⋆ 키밸류(Keyvalue) : 특정 값을 고유키와 대응하여 스키마 없이 데이터를 저장하는 유형

⋆ 순차적 키밸류(Ordered KeyValue) : 키밸류 쌍을 순차적으로 저장, 연속성을 부여함으로써 영역 스캔 효율을 높여줌

⋆ 빅테이블(BigTable) : 테이블 형식(Tabular), 2~3단계까지 재귀적 구조 (테이블의 내부의 데이터가 자기 자신의 어떠한 부분을 가리키는 것)형성 가능

⋆ 도큐먼트(Document): 객체 데이터베이스(ODBMS)의 파생형, 데이터 구조 깊이에 제한 없음

⋆ 그래프(Graph): 가변적인 데이터 노드 간 연결 구조, 제약없는 관계 형성 가능

 

시스템 구성

⛤ 마스터-슬레이브(Master-Slave)

• 마스터 노드가 슬레이브/데이터의 메타 정보 관리
• 서버추가/삭제 작업에 용이
• 마스터에 부하 증가

⛤ 라운드 테이블(Round Table)

• 해시테이블(HashTable)기반 구조
• 마스터 노드 없음 -> 트래픽 분산 용이
• 멤버 노드 추가/삭제 시 데이터 이동 -> 트래픽 증가

 

하둡 명령어

ls : 파일(폴더) 조회 -> 파일(폴더를) 조회하는 명령어

hadoop fs -ls /
# hadoop fs -는 hadoop으로 검색하겠다
# ls / 는 '/'라는 곳에 있는 파일을 조회하겠다

 

put : 파일 올리기 -> 로컬 파일을 HDFS에 저장하는 명령어

hadoop fs -put hello.txt h_hello.txt
# hello.txt : 내 컴퓨터에 있는 파일명
# h_hello.txt : 하둡에 저장할 파일명

 

get : 파일 가져오기 -> HDFS의 파일을 로컬로 가져오는 명령어

hadoop fs -get h_bye.txt bye.txt
# h_bye.txt : 하둡에 저장할 파일명
# bye.txt : 내 컴퓨터에 있는 파일명

 

cp : 파일 복사하기 -> HDFS의 파일을 HDFS상에서 복사

hadoop fs -cp test1.txt test2.txt

 

rm : 파일 삭제하기 -> HDFS의 파일을 삭제하기

hadoop fs -rm test2.txt

 

chmod : 권한 변경 -> HDFS상의 파일의 권한을 변경

hadoop fs -chmod 700 test.txt

 

chown : 소유권 변경 -> HDFS상의 파일의 소유권을 변경

hadoop fs -chown recorder test.txt
# recorder : 소유자

 

 

 

MongoDB(몽고DB)

 

특징

⛤ 문서 지향 데이터베이스

• 문서(document)와 배열(array)의 개념 도입
• 복잡한 계층 관계를 하나의 레코드로 표현 가능
• NoSQL 데이터베이스

⛤ 더블 링크드 리스크 구조 : 데이터의 순방향-역방향 탐색 가능

 

주요 개념

데이터베이스(Database) : 컬렉션의 논리적/물리적인 집합

컬렉션(Collection) : 구조적/개념적으로 유사한 도큐먼트의 집합

익스텐트(Extent) : 데이터 저장을 위한 논리 단위

도큐먼트(Document) : 정렬된 키(Key)-값(Value)의 집합

 

몽고DB명령어

use : 데이터베이스를 생성(사용)하는 명령

use mydatabase
# mydatabase라는 데이터베이스를 생성한다.
# 이미 있다면 사용한다.

 

dropDatabase() : 현재 사용하는 데이터베이스를 삭제

db.dropDatabase()
# 사용중인 데이터베이스를 삭제한다.

 

createCollection() : 컬렉션을 생성(사용)하는 명령

db.createCollection("test")
{"ok" : 1 } --> 생성 후 나오는 메세지
# test :생성하고자 하는 컬렉션

 

drop() : 컬렉션을 삭제하는 명령

db.test.drop()
# test 컬렉션을 삭제한다

 

insert() : 도큐먼트를 추가하는 명령

db.test.insert(
	{"title":"hello", "author":"recorder"}
    {"title":"bye", "author":"bboong"}
    
# 성공적으로 삽입시    
BulkWriteResult({
	"writeErrors" : [ ],
    "writeConcernErrors" : [ ],
    "nInserted" : 2,
    "nUpserted" : 0,
    ...

 

remove() : 도큐먼트를 제거하는 명령

db.test.remove({"title": "hello"})

# 실행 성공시 출력
{"_id" ObjectId("..."),
"title" : "hello", "author" : "recorder"}