π» IT/λΉ λ°μ΄ν°
-
λΉ λ°μ΄ν° λΆμ λꡬ R (1)2024.04.19
-
λΉ λ°μ΄ν°μ μμ§2024.04.17
-
λΉ λ°μ΄ν°μ κ°λ 2024.04.17
λΉ λ°μ΄ν° λΆμ λꡬ R (1)
Rμ΄λ? : ν΅κ³ λΆμ, κ·Έλν½ νν, λ³΄κ³ μμ±μ μν νλ‘κ·Έλλ° μΈμ΄ λ° μννΈμ¨μ΄ νκ²½
- ν΅κ³ λΆμ - μ ν λ° λΉμ ν λͺ¨λΈλ§, ν΅κ³ κ²μ , μκ³μ΄ λΆμ, λΆλ₯, κ΅°μ§ν λ±μ κΈ°λ₯
- κ·Έλν½ νν λ° λ³΄κ³ μμ± - λ§λν κ·Έλν, μν κ·Έλν, 3μ°¨μ κ·Έλν λ± μΆλ ₯
- GNU GPL Version 2 λΌμ΄μ μ€μ μνμ¬ κ΄λ¦¬
- Windows, Linux, Mac λ± λ€μν μ΄μ체μ νκ²½ μ§μ
νΉμ§
- ν¨κ³Όμ μΈ λ°μ΄ν° νΈλ€λ§ λ° μ μ₯μ κΈ°λ₯
- μ νλμ μ°μ°μ μ ν©ν μ°μ°μ μ 곡
- μΌκ΄μ± μμΌλ©° ν΅ν©λ λ°μ΄ν° λΆμ λꡬ
- λ°μ΄ν° λΆμμ κ·Έλν½ λ° μΆλ ₯ κΈ°λ₯
- κ²¬κ³ νλ©΄μλ κ°κ²°νκ³ ν¨κ³Όμ μΈ νλ‘κ·Έλλ° μΈμ΄ (쑰건문, 루ν, μ¬μ©μ μ μ μ¬κ· ν¨μ, μ μΆλ ₯ κΈ°λ₯ λ±)
μ€μΉ (Rλ¨Όμ κΉκ³ RStudioκΉμμΌμ§ μ€ν λ©λλ€)
R
The Comprehensive R Archive Network
cran.r-project.org
RStudio
https://posit.co/download/rstudio-desktop/
Posit
The best data science is open source. Posit is committed to creating incredible open-source tools for individuals, teams, and enterprises.
posit.co
RStudio μ€ν μ νλ©΄
κΈ°λ³Έ λ¬Έλ²
λμ (ν λΉ) μ°μ°μμ μ¬μ©
- <- μ°μ°μ λλ -> μ°μ°μλ₯Ό μ΄μ©νμ¬ λ³μμ κ°μ λμ
a<-3
# λ³μ aμ 3μ λμ
a+3->b
# λ³μ bμ a+3μ κ²°κ³Όλ₯Ό λμ
1<-list("pizza",3,119.2)
# λ³μlμ 리μ€νΈλ₯Ό μμ±νμ¬ λμ
μ£Όμ
- μ£Όμ(comments): μ€μ λ‘ μ€νλμ§ μλ μ½λμ λ©λͺ¨
- # κΈ°νΈλ₯Ό μ΄μ©νμ¬ μ£Όμ μ μ κ°λ₯
# μ λ μ€νλμ§ μμ΅λλ€
λ³μ(Variables)
- λͺ¨λ λ³μλ λ¬Έμ, μ«μ, μ (.), λ°μ€ λ¬Έμ(_)λ§ μ¬μ© κ°λ₯
- 첫λ²μ§Έ λ¬Έμλ μ«μμ λ°μ€ λ¬Έμ(_)λ‘ μμν μ μλ€.
- 첫λ²μ§Έ λ¬Έμκ° μ (.)μΈ κ²½μ° -> λλ²μ§Έ λ¬Έμλ μ«μ μΈ μ¬μ©κ°λ₯νλ€.
test2. #μ¬μ© κ°λ₯
test% #μ¬μ© λΆκ°λ₯
2test #μ¬μ© λΆκ°λ₯
.test #μ¬μ© κ°λ₯
.2test #μ¬μ© λΆκ°λ₯
_test #μ¬μ© λΆκ°λ₯
λ³μ κ΄λ ¨ ν¨μ
- class() : λ³μμ λ°μ΄ν°νμ μμλ΄κΈ° μν ν¨μ
class(a)
[1] "character"
# λ³μ aμ λ°μ΄ν°νμ μμλ΄κΈ° μν¨
- ls() : νμ¬ μ¬μ©νκ³ μλ λ³μμ λͺ©λ‘ μΆλ ₯
ls()
[1] "a" "b" "c"
# νμ¬ μ¬μ©νκ³ μλ λ³μμ λͺ©λ‘
ls(pattern="c")
[1] "c"
# νΉμ λ³μ μ¬μ© μ¬λΆλ₯Ό μΆλ ₯
- rm() : λ³μλ₯Ό μ§μ°λ ν¨μ
rm("a")
ls()
[1] "b" "c"
# a λ³μλ₯Ό μμ
# μ¬μ©νκ³ μμ§ μμ λ³μ μ
λ ₯μ Warning message μΆλ ₯
'π» IT > λΉ λ°μ΄ν°' μΉ΄ν κ³ λ¦¬μ λ€λ₯Έ κΈ
λΉ λ°μ΄ν° λΆμ λꡬ R (3) (1) | 2024.04.20 |
---|---|
λΉ λ°μ΄ν° λΆμ λꡬ R (2) (1) | 2024.04.20 |
λΉ λ°μ΄ν° μ μ₯μ (1) | 2024.04.18 |
λΉ λ°μ΄ν°μ μμ§ (0) | 2024.04.17 |
λΉ λ°μ΄ν°μ κ°λ (0) | 2024.04.17 |
λΉ λ°μ΄ν° μ μ₯μ
cap μ΄λ‘
β μΌκ΄μ±(Consistency) : λͺ¨λ λ Έλλ λμΌ μμ μ λμΌ λ°μ΄ν° μΆλ ₯μ΄ λ³΄μ₯
β κ°μ©μ±(Availability) : λ Έκ·Έκ° μ΄μ© λΆκ°λ₯ν΄λ λ€λ₯Έ λ Έλ μ μ μλ 보μ₯
β μ§μμ±(Parttition Tolerance) : λ°μ΄ν° μμ€μ΄ λ°μν΄λ μμ€ν μ μ μλ 보μ₯ (RDBMSλ μ§μμ±μ νκ³κ° μλ€.)
β λ Έλλ? : λΉ λ°μ΄ν° μ²λ¦¬ λ° λΆμμ μν μ»΄ν¨ν μμμ μ 곡νλ μ»΄ν¨ν μ₯λΉμ λλ€.
RDBMSμ λμ
β νλ‘(Hadoop) : νλ‘ λΆμ°νμΌ μμ€ν (HDFS) , λμ©λ λ°μ΄ν° μ²λ¦¬μ μ©μ΄νλ€
β NoSQL : λΉκ΄κ³ν λ°μ΄ν° μ μ₯μ , λ°μ΄ν°μ μμ€μ λμ² κ°λ₯νλ€
β λ λμ€(Redis) : NoSQLμ μΌμ’ μ΄λ©° key-value ꡬ쑰 μ μ₯μ, μΈλ©λͺ¨λ¦¬ μ μ₯μ ꡬ쑰
β μ°μ§(Oozie) : μλ° μλΈλ¦Ώ 컨ν μ΄λ κΈ°λ° μμ μμ§, DAG νν κΈ°λ° μμ (job)μ μ΄
νλ‘ λΆμ° νμΌ μμ€ν (HDFS)
ꡬμ±μμ
β λ€μλ Έλ μλ² : νμΌμ μμΉ(iNode), λ©νμ 보 κ΄λ¦¬, ν΄λΌμ΄μΈνΈ μμ²
β 보쑰 λ€μλ Έλ μλ² : λ€μλ Έλ μλ²μ λ°±μ μν , νμΌ μμ€ν 볡ꡬ
β λ°μ΄ν° λ Έλ μλ² : κ³ μ λ ν¬κΈ°μ λΈλ‘ λ¨μλ‘ λ°μ΄ν°λ₯Ό λλμ΄ μ μ₯
NoSQL(Not-Only-SQL)
λ°μ΄ν° λͺ¨λΈλ³ λΆλ₯
β ν€λ°Έλ₯(Keyvalue) : νΉμ κ°μ κ³ μ ν€μ λμνμ¬ μ€ν€λ§ μμ΄ λ°μ΄ν°λ₯Ό μ μ₯νλ μ ν
β μμ°¨μ ν€λ°Έλ₯(Ordered KeyValue) : ν€λ°Έλ₯ μμ μμ°¨μ μΌλ‘ μ μ₯, μ°μμ±μ λΆμ¬ν¨μΌλ‘μ¨ μμ μ€μΊ ν¨μ¨μ λμ¬μ€
β λΉ ν μ΄λΈ(BigTable) : ν μ΄λΈ νμ(Tabular), 2~3λ¨κ³κΉμ§ μ¬κ·μ ꡬ쑰 (ν μ΄λΈμ λ΄λΆμ λ°μ΄ν°κ° μκΈ° μμ μ μ΄λ ν λΆλΆμ κ°λ¦¬ν€λ κ²)νμ± κ°λ₯
β λνλ¨ΌνΈ(Document): κ°μ²΄ λ°μ΄ν°λ² μ΄μ€(ODBMS)μ νμν, λ°μ΄ν° ꡬ쑰 κΉμ΄μ μ ν μμ
β κ·Έλν(Graph): κ°λ³μ μΈ λ°μ΄ν° λ Έλ κ° μ°κ²° ꡬ쑰, μ μ½μλ κ΄κ³ νμ± κ°λ₯
μμ€ν ꡬμ±
β€ λ§μ€ν°-μ¬λ μ΄λΈ(Master-Slave)
- λ§μ€ν° λ Έλκ° μ¬λ μ΄λΈ/λ°μ΄ν°μ λ©ν μ 보 κ΄λ¦¬
- μλ²μΆκ°/μμ μμ μ μ©μ΄
- λ§μ€ν°μ λΆν μ¦κ°
β€ λΌμ΄λ ν μ΄λΈ(Round Table)
- ν΄μν μ΄λΈ(HashTable)κΈ°λ° κ΅¬μ‘°
- λ§μ€ν° λ Έλ μμ -> νΈλν½ λΆμ° μ©μ΄
- λ©€λ² λ Έλ μΆκ°/μμ μ λ°μ΄ν° μ΄λ -> νΈλν½ μ¦κ°
νλ‘ λͺ λ Ήμ΄
ls : νμΌ(ν΄λ) μ‘°ν -> νμΌ(ν΄λλ₯Ό) μ‘°ννλ λͺ λ Ήμ΄
hadoop fs -ls /
# hadoop fs -λ hadoopμΌλ‘ κ²μνκ² λ€
# ls / λ '/'λΌλ κ³³μ μλ νμΌμ μ‘°ννκ² λ€
put : νμΌ μ¬λ¦¬κΈ° -> λ‘컬 νμΌμ HDFSμ μ μ₯νλ λͺ λ Ήμ΄
hadoop fs -put hello.txt h_hello.txt
# hello.txt : λ΄ μ»΄ν¨ν°μ μλ νμΌλͺ
# h_hello.txt : νλ‘μ μ μ₯ν νμΌλͺ
get : νμΌ κ°μ Έμ€κΈ° -> HDFSμ νμΌμ λ‘μ»¬λ‘ κ°μ Έμ€λ λͺ λ Ήμ΄
hadoop fs -get h_bye.txt bye.txt
# h_bye.txt : νλ‘μ μ μ₯ν νμΌλͺ
# bye.txt : λ΄ μ»΄ν¨ν°μ μλ νμΌλͺ
cp : νμΌ λ³΅μ¬νκΈ° -> HDFSμ νμΌμ HDFSμμμ 볡μ¬
hadoop fs -cp test1.txt test2.txt
rm : νμΌ μμ νκΈ° -> HDFSμ νμΌμ μμ νκΈ°
hadoop fs -rm test2.txt
chmod : κΆν λ³κ²½ -> HDFSμμ νμΌμ κΆνμ λ³κ²½
hadoop fs -chmod 700 test.txt
chown : μμ κΆ λ³κ²½ -> HDFSμμ νμΌμ μμ κΆμ λ³κ²½
hadoop fs -chown recorder test.txt
# recorder : μμ μ
MongoDB(λͺ½κ³ DB)
νΉμ§
β€ λ¬Έμ μ§ν₯ λ°μ΄ν°λ² μ΄μ€
- λ¬Έμ(document)μ λ°°μ΄(array)μ κ°λ λμ
- 볡μ‘ν κ³μΈ΅ κ΄κ³λ₯Ό νλμ λ μ½λλ‘ νν κ°λ₯
- NoSQL λ°μ΄ν°λ² μ΄μ€
β€ λλΈ λ§ν¬λ 리μ€ν¬ ꡬ쑰 : λ°μ΄ν°μ μλ°©ν₯-μλ°©ν₯ νμ κ°λ₯
μ£Όμ κ°λ
λ°μ΄ν°λ² μ΄μ€(Database) : 컬λ μ μ λ Όλ¦¬μ /물리μ μΈ μ§ν©
컬λ μ (Collection) : ꡬ쑰μ /κ°λ μ μΌλ‘ μ μ¬ν λνλ¨ΌνΈμ μ§ν©
μ΅μ€ν νΈ(Extent) : λ°μ΄ν° μ μ₯μ μν λ Όλ¦¬ λ¨μ
λνλ¨ΌνΈ(Document) : μ λ ¬λ ν€(Key)-κ°(Value)μ μ§ν©
λͺ½κ³ DBλͺ λ Ήμ΄
use : λ°μ΄ν°λ² μ΄μ€λ₯Ό μμ±(μ¬μ©)νλ λͺ λ Ή
use mydatabase
# mydatabaseλΌλ λ°μ΄ν°λ² μ΄μ€λ₯Ό μμ±νλ€.
# μ΄λ―Έ μλ€λ©΄ μ¬μ©νλ€.
dropDatabase() : νμ¬ μ¬μ©νλ λ°μ΄ν°λ² μ΄μ€λ₯Ό μμ
db.dropDatabase()
# μ¬μ©μ€μΈ λ°μ΄ν°λ² μ΄μ€λ₯Ό μμ νλ€.
createCollection() : 컬λ μ μ μμ±(μ¬μ©)νλ λͺ λ Ή
db.createCollection("test")
{"ok" : 1 } --> μμ± ν λμ€λ λ©μΈμ§
# test :μμ±νκ³ μ νλ 컬λ μ
drop() : 컬λ μ μ μμ νλ λͺ λ Ή
db.test.drop()
# test 컬λ μ
μ μμ νλ€
insert() : λνλ¨ΌνΈλ₯Ό μΆκ°νλ λͺ λ Ή
db.test.insert(
{"title":"hello", "author":"recorder"}
{"title":"bye", "author":"bboong"}
# μ±κ³΅μ μΌλ‘ μ½μ
μ
BulkWriteResult({
"writeErrors" : [ ],
"writeConcernErrors" : [ ],
"nInserted" : 2,
"nUpserted" : 0,
...
remove() : λνλ¨ΌνΈλ₯Ό μ κ±°νλ λͺ λ Ή
db.test.remove({"title": "hello"})
# μ€ν μ±κ³΅μ μΆλ ₯
{"_id" ObjectId("..."),
"title" : "hello", "author" : "recorder"}
'π» IT > λΉ λ°μ΄ν°' μΉ΄ν κ³ λ¦¬μ λ€λ₯Έ κΈ
λΉ λ°μ΄ν° λΆμ λꡬ R (3) (1) | 2024.04.20 |
---|---|
λΉ λ°μ΄ν° λΆμ λꡬ R (2) (1) | 2024.04.20 |
λΉ λ°μ΄ν° λΆμ λꡬ R (1) (0) | 2024.04.19 |
λΉ λ°μ΄ν°μ μμ§ (0) | 2024.04.17 |
λΉ λ°μ΄ν°μ κ°λ (0) | 2024.04.17 |
λΉ λ°μ΄ν°μ μμ§
λΉ λ°μ΄ν°μ μμ±
λ°μ΄ν°(Data) : κ΄μ°° λ° μΈ‘μ μ ν΅ν νλ / λ¨μν μ¬μ€μ΄λ κ²°κ³Ό / κ°κ³΅λμ§ μμ μν
μ 보(Information) : λ°μ΄ν°λ₯Ό κ°κ³΅νμ¬ μ»μ κ²°κ³Ό, μμ¬κ²°μ μ κΈ°μ¬
μ λμ λ°μ΄ν°(Quantitative Data): μΈμ΄, λ¬Έμ λ±μ΄ κ³λ κ°λ₯ νν / (κ·Έλ¦μ΄ μ ν΄μ Έμμ΄μΌν¨) β μ ν, λ°μ ν λ°μ΄ν° νν
μ μ±μ λ°μ΄ν°(Qualitative Data): μΈμ΄, κ°λ λ± μΆμμ νν / λΉμ ν λ°μ΄ν° νν
λΉ λ°μ΄ν°μ μμ§
μ μ : μμ€ν μ λ΄μΈλΆμμ μ£ΌκΈ°μ±μ κ°μ§κ³ νμν ννλ‘ λ°μ΄ν°λ₯Ό λͺ¨μΌλ μμ
μν
- μ μ©ν λ°μ΄ν°λ₯Ό μ ν β μ°μΆλ¬Ό νμ§ ν₯μ
- μ΅μ μ λ°©λ²λ‘ μ ν β μμ§ μμ μ± κ·Ήλν
- μμ§ μμ λΉμ© μ΅μν
λΉ λ°μ΄ν° μμ§ μ μ°¨ μ€κ³
- μμ§ λ°μ΄ν° μ μ - λ€μν μμλ₯Ό κ³ λ €νλ € μ μ
- μΈλΆκ³ν μ립 - μμΉ, μ νμ λ°λ₯Έ κ³νμ μμ±
- ν μ€νΈ μμ§ μ§ν - ν μ€νΈλ₯Ό ν΅ν΄ κΈ°μ / νμ κ²ν
- μμ§ μ§ν
μμ§ λ°μ΄ν° μ μ
κ°λ₯μ± : λΆκ°λ₯ νΉμ μ£ΌκΈ° ν΅μ κ°λ₯ μ¬λΆ νμΈ
μ νμ± : λ΄μ© μ νμ±/μ λ°μ±, μ¬μ μ²λ¦¬ νμ μ¬λΆ
λμ΄λ : λΉμ©, μμ§ κ³Όμ μ λ°λ₯Έ λμ κ³ λ €
λΉμ© : λ°μ΄ν° νλμ νμν μ§μ λΉμ© κ²ν
보μ : κ°μΈμ λ³΄λ³΄νΈ λ° μ μκΆ λ¬Έμ κ²ν
μΈλΆκ³ν μ립
λ°μ΄ν°μ μμΉμ μ ν νμ : λ΄λΆ νΉμ μΈλΆ λ°μ΄ν° μ¬λΆνμΈ β κΈ°κ΄ νμ κ³ λ €
νΉμ§, ꡬμ±, νν λ± νμ β λ°©λ²λ‘ μ νμ μν₯
μμ§ κ³νμ μμ±
λ°μ΄ν° μμ€, μμ§ μ£ΌκΈ°, μμ§ λ°©λ²μ ν¬ν¨νμ¬ μμ± (λ°λμ ν¬ν¨)
ν μ€νΈ μμ§ μ§ν
κΈ°μ μ κ²ν : λ°μ΄ν° λλ½, μλ³Έ λ°μ΄ν°μ λΉκ΅, μ νμ± μΈ‘μ
νμ μ κ²ν : 보μμ±, μ μκΆ, νΈλν½ λ°μλλ±
λΉ λ°μ΄ν° μμ§ κ³νμ
λ°μ΄ν° μμ€ : μμ€ μμΉ, νν, μΈν°νμ΄μ€ , μ€λ¬΄μ νμ½ μμΈ
μμ§ μ£ΌκΈ°: μ£ΌκΈ°μκ°(κ·μΉμ±) λλ μ€μκ°(λΆκ·μΉμ±), λ°μ΄ν°/νΈλν½λ
μμ§ λ°©λ²: μμ§ κΈ°μ , μ¬μ /μ¬νμ²λ¦¬,λμ
λΉ λ°μ΄ν° μμ§ λꡬ
μΈμ μμ νμ© :
- μ¬λμ ν΅νμ¬ λ°μ΄ν° μμ§
- μΈμ μμ λΉμ© λ°μ
- μ€ν΄μ λλ μ€μ°¨λ±μ λ¬Έμ μ
μλν λꡬ μ¬μ©:
- λλΆλΆμ κ³Όμ μμ μ¬λμ κ°μ μμ
- μΈμ μμ λΉμ© μ΅μν κ°λ₯
- λ°μ΄ν° μμ²μ ννμ λ°λΌ μ μ©μ΄ λΆκ°λ₯ν μλ μμ
λΉ λ°μ΄ν° μλν μμ§ κΈ°μ
λ€νΈμν¬ μμ§
- ν¬λ‘€λ§(Crawling): μ¬μ μ μ ν¨ν΄μ λ°λΌ μ ν΄μ§ λ€νΈμν¬ μ§μ μ λ°μ΄ν° μμ§
- OpenAPI: λ°μ΄ν° λ°°ν¬μ μ 곡 μΈν°νμ΄μ€
λ‘κ·Έ/ μΌμ μμ§
- λ‘κ·Έ (Log)μμ§: κΈ°κ΄ λ¨μ²΄ λ΄λΆμ μμ§ / μλ λλ μ΄μ© ν¨ν΄μ κΈ°λ‘
- μΌμ (Sensor)μμ§ : μΌμ μ₯μΉλ₯Ό μ΄μ©ν κΈ°λ‘
μμ§ μ¬λ‘
JSON(Javascript Object Notation):
- XML μ μ¬ λ°μ΄ν° μ νν λ°©μ
- μΈν°λ· μμ λ°μ΄ν° μ‘μμ λ°©μ
- ν μ€νΈ νν, μμ μ©λ, λΉ λ₯Έ λ³ν μλ
- νλ‘κ·Έλλ° μΈμ΄ λλ νλ«νΌ λ 립μ
Flume:
- 2010λ Cloudera κ°λ°, λ‘κ·Έ λ°μ΄ν° μμ§κΈ°
- λΆμ° λ°μ΄ν° ν΅ν© κ°λ₯, μμ μ± κ°μ©μ± λμ
Chukwa(μ²μ):
- 2008λ Yahoo κ°λ°, λ‘κ·Έ λ°μ΄ν° μμ§κΈ°
- μνμΉ νλ‘ κΈ°λ°, μ€μκ° λΆμ κΈ°λ₯
SQOOP(μ€μΏ±):
- SQI-to-hadOOP, λ€μν DBMS λ²€ν° νΈν
- DBMS, νλ‘, NoSQL κ° λ°μ΄ν° μ°λμ μ μ©
OpenRefine(μ€ν 리νμΈ):
- 2010λ Googleμ μ€ν νλ‘μ νΈ
- λ°μ΄ν° μ μ λꡬ: μ€λ₯ μμ , λ°μ΄ν° μ 리
- λ°μ΄ν° μ°κ³ API λ° μν¬ νλ‘μ° κΈ°λ₯ μ 곡
Protocol Buffers( νλ‘ν μ½ λ²νΌ):
- Googleμ μ€ν μμ€ μ§λ ¬ν λΌμ΄λΈλ¬λ¦¬
- λ€μν νλ«νΌ κ°μ ν΅μ κ°λ₯
'π» IT > λΉ λ°μ΄ν°' μΉ΄ν κ³ λ¦¬μ λ€λ₯Έ κΈ
λΉ λ°μ΄ν° λΆμ λꡬ R (3) (1) | 2024.04.20 |
---|---|
λΉ λ°μ΄ν° λΆμ λꡬ R (2) (1) | 2024.04.20 |
λΉ λ°μ΄ν° λΆμ λꡬ R (1) (0) | 2024.04.19 |
λΉ λ°μ΄ν° μ μ₯μ (1) | 2024.04.18 |
λΉ λ°μ΄ν°μ κ°λ (0) | 2024.04.17 |
λΉ λ°μ΄ν°μ κ°λ
μ μ : λ°μ΄ν° μ²λ¦¬ μμ© μννΈ μ¨μ΄κ° μ²λ¦¬νκΈ°μ λ§€μ° κ±°λ(large)νκ±°λ 볡μ‘(complex)ν λ°μ΄ν°μ μ§ν©
β νμ‘΄νλ λ°μ΄ν°μ μμ΄ 1ZBλ₯Ό μ΄κ³Ό β μ ν(zeta)μλμ λμ
β λ―Έλμ κ²½μλ ₯κ³Ό κ°μΉ μ°½μΆμ μμ²μΌλ‘ λΉ λ°μ΄ν°κ° μ€μν μν μ νκ²λ¨
λΉ λ°μ΄ν°μ μμ¬
pc μλ - λ°μ΄ν°λ² μ΄μ€ κ°λ μ 립 , pcν΅μ μ μμ β λ°μ΄ν°μ κ·λͺ¨κ° μκ³ κ΅λ₯κ° μ λ€.
μΈν°λ· μλ - μ΄κ³ μ μΈν°ν μ λμ (ν¬νΈ μλΉμ€ ) β λ°μ΄ν°μ κ·λͺ¨ λ° μ λμ κ΅λ₯λ μ¦κ°
λͺ¨λ°μΌ μλ - λͺ¨λ°μΌ μΈν°λ· νλͺ (μμ λ€νΈμν¬) β λΉ λ°μ΄ν° κ°λ μ 립 λ° λ¬Έμ μ λλ
μ€λ§νΈ μλ - μΈκ³΅μ§λ₯(ai), κΈ°κ³νμ΅(ml), λ₯λ¬λ, μ¬λ¬Ό μΈν°λ·(iot)λ± β μ§λ₯μ κ°μ§λ μλ
λΉ λ°μ΄ν°μ 3κ°μ§ νΉμ± (3V)
κ·λͺ¨(volume) - λμ§νΈ μ 보λμ΄ κΈ°νκΈμμ μΌλ‘ κΈμ¦ β μ 보λ μ¦κ°μ λν λ°μ΄ν° μ²λ¦¬ μμ μ¦κ°
λ€μμ±(variety) - λ‘κ·Έ, sns,μλΉ λ± λ°μ΄ν° μ’ λ₯ μ¦κ° β λ€μν λ°μ΄ν°μ λν μμ© λ° μ²λ¦¬ λ°©λ²λ‘ νμ
μλ(velocity) - IOT, μ€νΈλ¦¬λ° λ± μ€μκ° μ 보μ μλ μ¦κ° β λ°μ΄ν°λ₯Ό λΉ λ₯΄κ² μ²λ¦¬νκ³ λΆμνλ νλ«νΌ νμ
λΉ λ°μ΄ν°μ μλ‘μ΄ νΉμ±
μ νμ± (veracity) - κ±°λν λ°μ΄ν°λ μ λ’°μ±μ΄ λΆμ‘±ν μ μμ. μμ§ν λ°μ΄ν°μ λ€μν νμ§μ λμ²νλ λ°©λ²λ‘
κ°μΉ (value) - νΈλλ, κ°μ , μ§μ€μ±, μ§μ μ±, κ°μΈμ μ·¨ν₯ λ± λ³ννλ λκ·λͺ¨ λ°μ΄ν° μλμ κ°μΉμ νμμ± μ¦λ
κ°λ³μ±(variability) - λ§₯λ½μ λ°λΌ μλ―Έκ° λ³ν β λ°μ΄ν°μ λ³Έλ μλ―Έλ₯Ό μ°ΎκΈ° μν λ°©λ²λ‘ νμ
μκ°ν(visualization) - λ°μ΄ν°μ λΆμμΌλ‘λΆν° μ»μ΄λΈ κ²°λ‘ μ λν νν β μ¬μ©μμ μ΄ν΄λλ₯Ό κ³ λ €ν ν¨κ³Όμ μΈ λ°©λ²λ‘ νμ
λΉ λ°μ΄ν°μ μ’ λ₯
μ ν λ°μ΄ν°(Structured Data) - κ³ μ ν νλμ μ μ₯λ λ°μ΄ν° μ)μμ , κ΄κ³ν λ°μ΄ν°λ² μ΄μ€(RDBMS),μ€νλ λμνΈ λ±
λ°μ ν λ°μ΄ν°(Semi-Structured Data) - λ©νλ°μ΄ν°, μ€ν€λ§λ₯Ό μ΄μ©νμ¬ νννλ λ°μ΄ν° μ)XML, HTML,JSON,λ‘κ·Έλ±
λΉμ ν λ°μ΄ν°(Unstructured Data) - μ ν/λ°μ νμ΄ μλ λͺ¨λ λ°μ΄ν° μ)ν μ€νΈλ¬Έμ, λΉλμ€, μ€λμ€ κ°μ λ©ν°λ―Έλμ΄ μ½ν μΈ ,SNS
κ°μ₯ ν° μ¦κ°λ₯Ό 보μ΄λ λ°μ΄ν° μ ν
μμ§ λμ΄λ
λΉ λ°μ΄ν°μ μ²λ¦¬κ³Όμ κ³Ό κΈ°μ
μμ±-μμ§-μ μ₯-μ²λ¦¬-λΆμ-νν
μμ±
β€ λ΄λΆλ°μ΄ν°
β λ‘컬 νκ²½(μΈν°λ·μ μ°κ²° λμμ§ μμ μΈλΆμ μ°¨λ¨ λμλ ννμ λ°μ΄ν°)μ μ μ₯λμ΄ κ΅λ₯κ° μλ λ°μ΄ν°
β λ°μ΄ν°λ² μ΄μ€, νμΌκ΄λ¦¬ μμ€ν λ±
β€ μΈλΆλ°μ΄ν°
β λ€νΈμν¬μμ κ΅λ₯λ₯Ό ν΅ν΄ λ°μνλ λ°μ΄ν°
β ν μ€νΈ, λ©ν°λ―Έλμ΄ μ½ν μΈ , μ€νΈλ¦Ό λ±
μμ§
β λ‘κ·Έ(LOG): μμ€ν λ΄λΆ νλ λ‘κ·Έ μμ§
β ν¬λ‘€λ§(Crawlng) : μΈν°λ· λ‘λ΄μ μ¬μ©ν λ°μ΄ν° μμ§
β μΌμ±(Sensing): κ°μ’ μΌμλ₯Ό μ΄μ©ν μμ§ (μ¬λ¬Ό μΈν°λ·μ λΆμ΄μλ μΌμ)
β ETL (Extraction, Transformation, Loading) : μμ² λ°μ΄ν°μ μΆμΆ, λ³ν, μ μ¬ β λ°μ΄ν° μ¨μ΄νμ°μ€
μ μ₯
β μλ²(server) :λ°μ΄ν°μ ν¨κ³Όμ μΌλ‘ μ κ·ΌνκΈ° μν μ₯μΉ
β μ€ν 리μ§(Storage):λ°μ΄ν°λ₯Ό μ μ₯νλ 맀체 (usb, νλλμ€ν¬)
β NoSQL λ°μ΄ν°λ² μ΄μ€ : λΉμ ν λ°μ΄ν° κ΄λ¦¬μ νΉνλ λ°μ΄ν°λ² μ΄μ€
μ²λ¦¬
β 맡리λμ€(MapReduce): λΆμ° λ³λ ¬ μ»΄ν¨ν (μ¬λ¬μ»΄νν°κ° μ°κ²°λμλ νκ²½)μμ λμ©λ λ°μ΄ν°λ₯Ό μ²λ¦¬νκΈ° μν μννΈμ¨μ΄ νλ μμν¬
β R, Hadoop, MATLABλ± : λ°μ΄ν° λΆμμ ν¨κ³Όμ μΌλ‘ μννκΈ° μν λ€μν μ²λ¦¬ λꡬ
λΆμ
β ν΅κ³ λΆμ(Statistical Analysis) : κ³ μ ν΅κ³, νλ₯ λͺ¨λΈλ§ λ±μΌλ‘ λΆμ μν
β κΈ°κ³νμ΅ (Machine Learning) : μΈκ³΅μ§λ₯(AI)μ ν κ°λμ΄λ©° λ°μλ λλ μλμΌλ‘ λ°μ΄ν°μ ν¨ν΄ λ°κ²½
β NLP(Natural Language Processing) : μΈκ°μ μΈμ΄ νμμ λΆμνλ μΈκ³΅μ§λ₯
νν
β€ μκ°ν(Visualization)
β λ€μν λνμ κ·Έλν½μΌλ‘ μ΄ν΄λ₯Ό λμ
β κ³ μ μ μΈ νν λ°©μμ μ½λ§€μ΄μ§ μκ³ νν, μμ, 맀체, ꡬλ λ±μ λ³ννμ¬ λ€μν νν
λΉ λ°μ΄ν°μ μ λ§
β λ°μ΄ν°μ λ€μμ± : μλ‘μ΄ λ©ν°λ―Έλμ΄κ° μ¦κ°ν μλ‘ λ€μν κ³³μμ μ 보λ₯Ό μ»μ μ μλ€.
β λ°μ΄ν°μ μ : μ κ·Ό νλ λ§€μ²΄κ° λμ΄λ μλ‘ λ°μ΄ν°μ μμ λμ΄λλ€.
β μ€λ§νΈ κΈ°κΈ°μ 보κΈμ¨ : μ΄λ―Έ μ€λ§νΈ κΈ°κΈ°λ₯Ό κ°κ³ μλ μ¬λλ€μ΄ μ¦κ°νλ©΄μ κΈ°κΈ° 보κΈμ¨μ μ¦κ°μ¨μ μ¦κ°λμ΄ μ€μ΄λ€ κ²μ΄λ€.
β μλ΅ μλ μκ΅¬μΉ : μκ°μ΄ μ§λ μλ‘ μκ³Ό λ€μμ±μ΄ λμ΄λμ μλ΅ μλ μꡬλ λΉ¨λΌμ§ κ²μ΄λ€.
λΉ λ°μ΄ν°μ νμ© λΆμΌ
β 곡곡 μλΉμ€ : λ°©λν λ°μ΄ν°λ₯Ό κ΅κ°μ μΌλ‘ νμ© κ°λ₯ κ°μ’ μμ κ΄λ¦¬ μ€λ§νΈ 그리λ, μ¬λ λ°©μ¬λ±
β κ³Όν μ°κ΅¬ : λ°μ΄ν°λ‘λΆν° μλ‘μ΄ μλ―Έ λ°κ²¬ κ°λ₯ β λ°μ΄ν°λ₯Ό νννλ μλ‘μ΄ λ°©λ²λ‘ μ μ©
β μλ£ μλΉμ€ : μλ£ λ°μ΄ν°μ ν¨μ¨μ , ν¨κ³Όμ μμ§ λ° κ³΅μ μ§λ¨, μ²λ°©, μμ , μμ λ±μ μλ£ νλͺ μμ
β λ¬Όλ₯/μ ν΅ : λ°μ΄ν°λ₯Ό ν΅ν΄ μλΉμμ λμ¦ (needs)λ₯Ό νμ ν΄ λ³΄λ€ ν¨κ³Όμ μΈ λ¬Όλ₯ μ ν΅μ΄ κ°λ₯
β μ μ‘° μ°μ : μ νμ μμ¨μ κ·ΉλννκΈ° μνμ¬ λ°μ΄ν°λ₯Ό νμ© β λΆλλ₯ μ μ΅μν ν μ μκ³ μ μ‘°μ ν¨μ¨ν κ°λ₯
β μ 보 ν΅μ : λͺ¨λ°μΌ κΈ°κΈ°(μ€λ§νΈν°)μ λ³΄κΈ νλλ‘ κ°μΈ λ°μ΄ν° μμ΄ μ¦κ° β κ°μΈνλ μλΉμ€ λ° λͺ©ν λ§μΌν κ°λ₯
λΉ λ°μ΄ν°μ νμ© μ¬λ‘
β μ μΉ : μ κΆμ DBμμ μ κΆμλ₯Ό λΆλ₯νκ³ μ±ν₯ νμ β μμ λ―Έλμ΄λ₯Ό ν΅νμ¬ μ κΆμ μ 보 μμ§
β κ²½μ : κ³ κ°κ·Έμ΄ ꡬ맀λ νλ κΈ°λ‘μ λΆμνμ¬ μ·¨ν₯ λΆμ ( κ°μΈνλ μΆμ² μμ€ν )
β λ¬Έν : μ ν λ° λΉμ ν λ°μ΄ν°λ₯Ό μμ§ λ° λΆμ β ν¨μ¨μ μΈ νμ μ΄μμ κ°λ₯μΌ ν¨
β κ³Όν : ν΅κ³νμ λΉμ½μ μΈ λ°μ μΌλ‘ μ μ μμ λΆμ λ° λ°νκ³Ό μ‘°μ μ νκΈ°μ μΈ λ³ν
λΉ λ°μ΄ν°μ λ―Έλ μ λ§
β λ°μ΄ν° νλͺ : μ μΉ, κ²½μ , μ¬ν, λ¬Έν, IT λ± λ°μ΄ν°κ° λ°μνλ μ λΆμΌμ λμ β μ¬ν μ λ°μ λ°μ΄ν° νλͺ
β μλ‘μ΄ κ°μΉμ λΆμΌ μ°½μΆ : κΈ°μ‘΄ λ°μ΄ν° λΏλ§ μλλΌ λ―Έλμ λ°μ΄ν°λ‘λΆν° μλ‘μ΄ μλ―Έλ₯Ό μ°Ύμλ΄κ³ κ°μΉμ λΆμΌ μ°½μΆ κΈ°λ
'π» IT > λΉ λ°μ΄ν°' μΉ΄ν κ³ λ¦¬μ λ€λ₯Έ κΈ
λΉ λ°μ΄ν° λΆμ λꡬ R (3) (1) | 2024.04.20 |
---|---|
λΉ λ°μ΄ν° λΆμ λꡬ R (2) (1) | 2024.04.20 |
λΉ λ°μ΄ν° λΆμ λꡬ R (1) (0) | 2024.04.19 |
λΉ λ°μ΄ν° μ μ₯μ (1) | 2024.04.18 |
λΉ λ°μ΄ν°μ μμ§ (0) | 2024.04.17 |