我的大資料學習歷程(1)

作為從業接近3年的程式猿，終於決定自己寫點東西。就從自己最近學的大資料開始吧。

跟著教程學習hadoop:

1.先是bababa一堆大資料的前景，就是資料已經到了DB時代，大資料很有前途。

2.接著便是hadoop的核心：資料的分散式儲存，資料的計算。

3.hadoop的安裝：

一.首先是 jdk的安裝與配置。(這裡就不多介紹了，樓主學習用的linux-centOS系統學習的)

二.hadoop安裝：

a.下載hadoop,(hadoop-2.7.1.tar.gz) 

apache.org 官網--project--hadoop--download--releases--binary--選擇映象並下載。

b.解壓 tar -zxvf hadoop.2.7.1.tar.gz 

c.移至/usr/soft目錄下 mv hadoop-2.7.1 /usr/soft/

d.配置環境變數

vim /etc/profile

HADOOP_INSTALL=/usr/soft/hadoop-2.7.1

PATH="/usr/soft/hadoop-2.7.1/bin:/usr/soft/hadoop-2.7.1/sbin"

export PATH

讓配置及時生效  source /etc/profile

d.進入etc目錄下    cd /usr/soft/hadoop-2.7.1/etc

hadoop_alone就是獨立模式的配置，需要偽分佈或者完全分散式的話就需要配置這個資料夾下面的

core-site.xml、hdfs-site.xml、yarn-site.xml、maprd-site.xml檔案，

這些檔案。一般情況下我們複製，兩個資料夾:hadoop_pseude、hadoop_full ,分別代表偽分散式和完全分散式，需要佈置哪個模式，就建立一個軟連結hadoop指 向這個連線 link -s hadoop_full hadoop

直接啟動，就是獨立模式下的hadoop(就是一臺主機的模式)

執行start-all.sh 啟動hadoop（hadoop的etc目錄下需要有hadoop資料夾）

獨立模式：沒有守護程式，在單機上執行

偽分散式：模擬分散式(也是執行在一臺主機上)

完全分散式：執行在多臺主機上