Record_Ing

의사결정(Decision Making)

• 하나 이상의 조건을 평가하여 그 결과에 따라 다양한 흐름으로 명령문을 수행하는 구조
• R에서는 if문, if~else문, switch문을 제공
• 의사결정 구조의 용도

if문 : 조건이 참일 때만 명령문을 수행

• 조건이 참(TRUE)인 경우에만 명령어 수행
• 가장 단순한 의사결정 구조

x<-36L
if(is.integer(x)){
	print("x는 정수")
}

[1] "x는 정수"

if~esle문 : 조건에 따라 별개의 명령문을 수행

• 조건이 참(TRUE)인 경우와 거짓(FALSE)인 경우 서로 다른 명령문을 수행하는 의사결정 구조

x<-3.14
if(is.integer(x)){
	print("정수입니다")
}else{
	print("정수가 아닙니다")
}

[1] "정수가 아닙니다"

switch문 : 다양한 값의 조건에 따라 별개의 명령문을 수행

• 조건이 일치하는 경우(case)의 명령문을 실행
• 조건이 다수로의 분기를 가질 때 유리
• 다른 프로그래밍 언어와 달리 기본값(default)이 없음

x<-"han"
switch(x, "kim"="김", "lee"="이", "han"="한")

[1] "한"

루프(Loop)

• 특정한 명령문을 조건에 따라 여러번 실행하고자 할 때 사용하는 구조
• 종류 : repeat 루프, while 루프, for 루프

repeat 루프

• 무한히 반복하여 명령문을 실행하는 구조
• if문과 break를 사용하여 반복에서 탈출할 수 있음

i<-1
repeat {
	i<-i+1
    if(i==3) {	#반복하다 i가 3이 되면 아래 실행후 break
    	print(i)
        break
    }
}

[1] 3

while 루프

• 조건이 참이면 동일한 명령문을 다시 실행하는 루프
• 명령문의 실행 결과에 따라 조건이 거짓이 되면 반복문으로부터 탈출하는 것이 가능

i<-1
while(i<3) {	#i가 3미만인 경우 계속 반복
	i<-i+1
}

i
[1] 3

for 루프

• 벡터의 각 성분에 따라 반복하는 루프 구조
• 벡터 성분의 위치(index)에 일일히 접근하지 않으므로 벡터 성분별 명령문을 수행하는 구조일때 유리
• 벡터 성분의 값을 대입하기 위한 변수 지정 필요

v<-c(2,3,5,7,10)
s<-0	#s변수 0으로 초기화
for(ve in v) {		#v안에 들어있는 변수들을 ve안에 넣는다
	s<-s+ve		#s변수 안에 s+ve값을 넣어라
}
print(s)

[1] 27

루프 제어 명령문

break문 :  현재 실행중인 루프문을 중단하고, 루프문 이후 명령문부터 실행한다.

next문 : 현재 실행중인 루프문을 중단하고, 루프문의 처음으로 되돌아가 명령문을 실행한다.

next예시

v<-1:10
for(ve in v) {
	if(ve%%2 != 0) {	# %%:나머지 연산자
    	next
    }
    print(ve)
}

[1] 2
[1] 4
[1] 6
[1] 8
[1] 10

# ve를 2로 나눈 나머지 값이 1이면 next(처음 for문)으로 되돌아간다
# 즉, 1~10숫자 중 짝수만 print로 넘어감

함수(Functions)

• 특정한 작업을 수행하는 명령문과 구조를 나열한 집합

기본 함수(built-in functions) : R에서 기본으로 정의되어 있는 함수

#사용 방법
<함수명>(<입력인자1>,<입력인자2>,...)
<함수명>(입력인자명1=<입력인자1>,입력인자명2=<입력인자2>,...)

#예시
mean(c(88,96,92))	#mean(평균을 내는 함수)과 c함수의 호출
png(file="result.png")	#입력인자명을 지정하여 호출

사용자 정의 함수(user-defined functions) : 사용자가 자신의 목적에 맞게끔 함수명, 명령문, 실행구조, 입력인자, 출력인자를 지정한 함수

• 필수 요소 : 함수명, function 키워드, 중괄호 등
• 선택 요소 : 입력인자, 출력인자, 입력인자명 등

# 사용자 정의 함수 생성 문법
<함수명><-function((입력인자명1=)<입력인자1>,...) {
	... #함수가 호출되면 실행할 명령문 및 구조
}

#예시
myFunc<-function(v) {	#사용자 정의 함수 myFunc()
	s<-0
    for(ve in v) {
    	s<-s+v
    }
    return(s)
}
myFunc(c(2,3,7)	#사용자 정의 함수 호출

[1] 6 9 21

데이터형의 종류

논리형(Logical):True(참), False(거짓)의 값을 가짐

1 <- TRUE
class(1)

[1] "logical"
# 변수 1에 TRUE값을 대입 후 데이터 형을 출력시 "locial"출력

숫자형(numeric): 실수를 표현하기 위한 데이터형

n<-3.1415
class(n)

[1] "numeric"

정수형(integer): 소수점이 없는 정수를 표현

i<-1147L
class(i)

[1] "integer"
# 소수점이 없는 정수 표현시 끝에 'L'을 적는다

복소수형(complex): 복소수를 표현하고자 할 때 사용

c<-3+5i
class(c)

[1] "complex"
# '3'은 실수, '5i'는 허수를 나타낸다

문자형(character):문자 또는 문자열을 표현할 때 사용

s<-"hello"
class(s)

[1] "character"

원형(raw): 컴퓨터 시스템에서 표현하는 기본 형태

r<-charRoRaw("hello")
r

[1] 68 65 6c 6c 6f
# charToRaw = 문자를 원형으로 바꿔주는 함수

R객체

백터(Vectors)

• 다수의 값을 담고 있는 R객체
• 내부 데이터는 한 가지 데이터형으로 통일

v<-c("hello",3.14)	#문자형과 숫자형 혼용
class(v)

[1] "character"		#문자형으로 변화
v
[1] "hello" "3.14"

# c는 백터를 생성해주는 함수이다

리스트(lists) :서로 다른 유형의 데이터를 담을 수 있는 객체

l<-list("hello", 3.14)	#문자형과 숫자형 혼용
class(l)

[1] "list"		#리스트형으로 출력
v
[[1]]
[1] "hello"		#문자형으로 출력
[[2]]
[1] 3.14		#숫자형으로 출력

행렬(matrices): 행과 열로 이루어진 2차원 데이터 집합

m<-matrix(c(2,3,1,5),nrow=2,ncol=2)
class(m)

[1] "matrix"
m
    [,1][,2]
[1,]  2   1
[2,]  3   5

배열(arrays): 다차원으로 구성된 데이터 집합

• 차원의 설정에 따른 배열의 변화
  • 1차원으로 설정 -> 배열(Arrays)로 취급
  • 2차원으로 설정 -> 행렬(Matrix)로 취급
  • 3차원 이상으로 설정 -> 배열(Arrays)로 취급

ar1<-array(c(2,3,1,5),dim=c(4))
ar2<-array(c(2,3,1,5),dim=c(2,2))
ar3<-array(c(2,3,1,5),dim=c(1,2,2))

class(ar1)
[1] "array"

class(ar2)
[1] "matrix"

class(ar3)
[1] "array"

ar1	#1차원
[1] 2 3 1 5

ar2	#2차원
    [,1][,2]
[1,]  2   1
[2,]  3   5

ar3	#3차원
, , 1
    [,1][,2]
[1,]  2   3

, , 2
    [,1][,2]
[1,]  1   5

요인(factors)

• "범주"라고도 부름
• 데이터의 값(value)과 레벨(lavel)을 함께 표현
• 객체가 구축되며 데이터가 자동으로 분석되므로 통계적 모델링과 분석에 유용

v<-c("kim","kim","han","lee","lee","kim")
vf<-factor(v)
vf

[1] kim kim han lee lee kim
Levels: han kim lee

class(vf)
[1] "factor"

데이터 프레임(data frames)

• 표의 형태로 정리된 데이터 객체의 일종
• 열(column)과 행(row)의 이름(name)을 지정 가능
• 열마다 서로 다른 데이터형을 가질 수 있음
• 숫자형(numeric), 요인(factor), 문자형(character)외의 다른 데이터를 저장할 수 없음
• 열마다 같은 수의 데이터를 포함하여야 함

v<-c("kim","kim","han","lee","lee","kim")
vf<-factor(v)
vf

[1] kim kim han lee lee kim
Levels: han kim lee

class(vf)
[1] "factor"

summary(df)
gender		height		weight		age
femail :2	Min, :159.0	Min. :49	Min. :25.00
mail   :1
...

산술 연산자(Arithmetic Operators)

a<-c(6,7)
b<-c(4,3)

a+b
[1] 10 10	# 6+4 7+3

a-b
[1] 2 4		# 6-4 7-3
...

관계 연산자(Relational Operators)

a<-c(2,3,4)
b<-c(3,3,3)

a>b
[1] FALSE FALSE TRUE	#2>3 3>3 4>3

a<b
[1] TRUE FALSE FALSE	#2<3 3<3 4<3
...

논리 연산자(Logical Operators)

a<-c(TRUE, FALSE, FALSE)
b<-c(TRUE, TRUE, FALSE)

a&b
[1] TRUE FALSE FALSE	#TRUE&TRUE FALSE&TRUE FALSE&FALSE

a|b
[1] TRUE TRUE FALSE

a&&b
[1] TRUE	#백터의 첫번째만 비교

a||b
[1] TRUE	#백터의 첫번째만 비교

대입(할당)연산자(Assignment Operators)

기타 연산자(Miscellaneous Operators

3:8
[1] 3 4 5 6 7 8

"pizza"%in%c("pizza","chicken")	#문자열 포함 여부를 검정
[1] TRUE

"icecream"%in%c("pizza","chicken")	#문자열 포함 여부를 검정
[1] FALSE

a<-matrix(c(1,2,3,4),nrow=2,n=col=2)	#행렬 a생성
b<-matrix(c(4,3,2,1),nrow=2,n=col=2)	#행렬 b생성

a*b
    [,1][,2]
[1,]  4   6
[2,]  6   4

a%*%b
    [,1][,2]
[1,]  13  5
[2,]  20  8

롬북을 다운 받고 파일을 열려고 하니까

맥북이 거절했다.

시스템 설정 - 개인정보 보호 및 보안에 들어가서 스크롤을 좀 내리면 보인다.

그래도 열기 클릭

열기 클릭

한번 더 문구 뜨면 확인 하면

잘 뜹니다

jdk를 다 지우고 새로 깔고 싶어서

/Library/Java/JavaVirtualMachines/ 에 들어가서 지웠다.

삭제 명령어

sudo rm -rf openjdk-8.jdk

지운 후 java -version명령어를 입력했는데

어라?

뜬다..

경로로 직접 들어가서 확인해봤는데

아주 텅~ 장 같이 비어있다.

근데 왜 뜨지?

홈 디렉터리로 이동

MacBookPro ~ % cd ~

아래의 명령어를 입력해준다

MacBookPro ~ % sudo R CMD javareconf

비밀번호를 입력하라고 뜨는데 입력하면 이렇게 뜰 것이다.

빨간 박스를 보면 저 위치에 jdk가 남아있었다.

왜 안지워진지 모르겠지만 저 위치로 들어가서 폴더를 지워줬다.

다시 명령어를 입력하면

이제야 없다는 멘트가 나온다

해결완료!

R이란?  : 통계 분석, 그래픽 표현, 보고 작성을 위한 프로그래밍 언어 및 소프트웨어 환경

• 통계 분석 - 선형 및 비선형 모델링, 통계 검정, 시계열 분석, 분류, 군집화 등의 기능
• 그래픽 표현 및 보고 작성 - 막대형 그래프, 원형 그래프, 3차원 그래프 등 출력
• GNU GPL Version 2 라이선스에 의하여 관리
• Windows, Linux, Mac 등 다양한 운영체제 환경 지원

특징

• 효과적인 데이터 핸들링 및 저장소 기능
• 선형대수 연산에 적합한 연산자 제공
• 일관성 있으며 통합된 데이터 분석 도구
• 데이터 분석의 그래픽 및 출력 기능
• 견고하면서도 간결하고 효과적인 프로그래밍 언어 (조건문, 루프, 사용자 정의 재귀 함수, 입출력 기능 등)

설치 (R먼저 깔고 RStudio깔아야지 실행 됩니다)

R

https://cran.r-project.org/

RStudio

https://posit.co/download/rstudio-desktop/

RStudio 실행 시 화면

기본 문법

대입(할당) 연산자의 사용

• <- 연산자 또는 -> 연산자를 이용하여 변수에 값을 대입

a<-3
# 변수 a에 3을 대입

a+3->b
# 변수 b에 a+3의 결과를 대입

1<-list("pizza",3,119.2)
# 변수l에 리스트를 생성하여 대입

주석

• 주석(comments): 실제로 실행되지 않는 코드의 메모
• # 기호를 이용하여 주석 정의 가능

# 저는 실행되지 않습니다

변수(Variables)

• 모든 변수는 문자, 숫자, 점(.), 밑줄 문자(_)만 사용 가능
• 첫번째 문자는 숫자와 밑줄 문자(_)로 시작할 수 없다.
• 첫번째 문자가 점(.)인 경우 -> 두번째 문자는 숫자 외 사용가능하다.

test2.	#사용 가능
test%	#사용 불가능
2test	#사용 불가능
.test	#사용 가능
.2test	#사용 불가능
_test	#사용 불가능

변수 관련 함수

• class() : 변수의 데이터형을 알아내기 위한 함수

class(a)
[1] "character"
# 변수 a의 데이터형을 알아내기 위함

• ls() :  현재 사용하고 있는 변수의 목록 출력

ls()
[1] "a" "b" "c"
# 현재 사용하고 있는 변수의 목록

ls(pattern="c")
[1] "c"
# 특정 변수 사용 여부를 출력

• rm() : 변수를 지우는 함수

rm("a")
ls()
[1] "b" "c"
# a 변수를 삭제
# 사용하고 있지 않은 변수 입력시 Warning message 출력

cap 이론

⋆ 일관성(Consistency) : 모든 노드는 동일 시점에 동일 데이터 출력이 보장

⋆ 가용성(Availability) : 노그가 이용 불가능해도 다른 노드 정상 작동 보장

⋆ 지속성(Parttition Tolerance) : 데이터 손실이 발생해도 시스템 정상 작동 보장 (RDBMS는 지속성에 한계가 있다.)

✔ 노드란? : 빅데이터 처리 및 분석을 위한 컴퓨팅 자원을 제공하는 컴퓨팅 장비입니다.

RDBMS의 대안

⋆ 하둡(Hadoop) : 하둡 분산파일 시스템(HDFS) , 대용량 데이터 처리에 용이하다 

⋆ NoSQL : 비관계형 데이터 저장소 , 데이터의 손실에 대처 가능하다

⋆ 레디스(Redis) : NoSQL의 일종이며 key-value 구조 저장소, 인메모리 저장소 구조

⋆ 우지(Oozie) : 자바 서블릿 컨테이너 기반 작업 엔진, DAG 표현 기반 작업(job)제어

하둡 분산 파일 시스템(HDFS)

구성요소

⋆ 네임노드 서버 : 파일의 위치(iNode), 메타정보 관리, 클라이언트 요청

⋆ 보조 네임노드 서버 : 네임노드 서버의 백업 역할, 파일 시스템 복구

⋆ 데이터 노드 서버 : 고정된 크기의 블록 단위로 데이터를 나누어 저장

NoSQL(Not-Only-SQL)

데이터 모델별 분류

⋆ 키밸류(Keyvalue) : 특정 값을 고유키와 대응하여 스키마 없이 데이터를 저장하는 유형

⋆ 순차적 키밸류(Ordered KeyValue) : 키밸류 쌍을 순차적으로 저장, 연속성을 부여함으로써 영역 스캔 효율을 높여줌

⋆ 빅테이블(BigTable) : 테이블 형식(Tabular), 2~3단계까지 재귀적 구조 (테이블의 내부의 데이터가 자기 자신의 어떠한 부분을 가리키는 것)형성 가능

⋆ 도큐먼트(Document): 객체 데이터베이스(ODBMS)의 파생형, 데이터 구조 깊이에 제한 없음

⋆ 그래프(Graph): 가변적인 데이터 노드 간 연결 구조, 제약없는 관계 형성 가능

시스템 구성

⛤ 마스터-슬레이브(Master-Slave)

• 마스터 노드가 슬레이브/데이터의 메타 정보 관리
• 서버추가/삭제 작업에 용이
• 마스터에 부하 증가

⛤ 라운드 테이블(Round Table)

• 해시테이블(HashTable)기반 구조
• 마스터 노드 없음 -> 트래픽 분산 용이
• 멤버 노드 추가/삭제 시 데이터 이동 -> 트래픽 증가

하둡 명령어

ls : 파일(폴더) 조회 -> 파일(폴더를) 조회하는 명령어

hadoop fs -ls /
# hadoop fs -는 hadoop으로 검색하겠다
# ls / 는 '/'라는 곳에 있는 파일을 조회하겠다

put : 파일 올리기 -> 로컬 파일을 HDFS에 저장하는 명령어

hadoop fs -put hello.txt h_hello.txt
# hello.txt : 내 컴퓨터에 있는 파일명
# h_hello.txt : 하둡에 저장할 파일명

get : 파일 가져오기 -> HDFS의 파일을 로컬로 가져오는 명령어

hadoop fs -get h_bye.txt bye.txt
# h_bye.txt : 하둡에 저장할 파일명
# bye.txt : 내 컴퓨터에 있는 파일명

cp : 파일 복사하기 -> HDFS의 파일을 HDFS상에서 복사

hadoop fs -cp test1.txt test2.txt

rm : 파일 삭제하기 -> HDFS의 파일을 삭제하기

hadoop fs -rm test2.txt

chmod : 권한 변경 -> HDFS상의 파일의 권한을 변경

hadoop fs -chmod 700 test.txt

chown : 소유권 변경 -> HDFS상의 파일의 소유권을 변경

hadoop fs -chown recorder test.txt
# recorder : 소유자

MongoDB(몽고DB)

특징

⛤ 문서 지향 데이터베이스

• 문서(document)와 배열(array)의 개념 도입
• 복잡한 계층 관계를 하나의 레코드로 표현 가능
• NoSQL 데이터베이스

⛤ 더블 링크드 리스크 구조 : 데이터의 순방향-역방향 탐색 가능

주요 개념

데이터베이스(Database) : 컬렉션의 논리적/물리적인 집합

컬렉션(Collection) : 구조적/개념적으로 유사한 도큐먼트의 집합

익스텐트(Extent) : 데이터 저장을 위한 논리 단위

도큐먼트(Document) : 정렬된 키(Key)-값(Value)의 집합

몽고DB명령어

use : 데이터베이스를 생성(사용)하는 명령

use mydatabase
# mydatabase라는 데이터베이스를 생성한다.
# 이미 있다면 사용한다.

dropDatabase() : 현재 사용하는 데이터베이스를 삭제

db.dropDatabase()
# 사용중인 데이터베이스를 삭제한다.

createCollection() : 컬렉션을 생성(사용)하는 명령

db.createCollection("test")
{"ok" : 1 } --> 생성 후 나오는 메세지
# test :생성하고자 하는 컬렉션

drop() : 컬렉션을 삭제하는 명령

db.test.drop()
# test 컬렉션을 삭제한다

insert() : 도큐먼트를 추가하는 명령

db.test.insert(
	{"title":"hello", "author":"recorder"}
    {"title":"bye", "author":"bboong"}
    
# 성공적으로 삽입시    
BulkWriteResult({
	"writeErrors" : [ ],
    "writeConcernErrors" : [ ],
    "nInserted" : 2,
    "nUpserted" : 0,
    ...

remove() : 도큐먼트를 제거하는 명령

db.test.remove({"title": "hello"})

# 실행 성공시 출력
{"_id" ObjectId("..."),
"title" : "hello", "author" : "recorder"}