centos linux成功安裝hadoop

dawn009發表於2015-09-25
CentOSLinuxHadoop
一、開發環境：
     Hadoop的生產環境只能在linux上，所以開發學習也建議在linux，本文基於centos6.4；JDK也是安裝前的必須準備：<wbr><wbr><wbr>
centos_linux成功安裝hadoop
二、Hadoop的三種模式簡介：
1、單例模式（standalone）：該模式下沒有守護程式，單一個JVM程式，適合MapReduce開發時做除錯；
2、偽分散式（pseudo-distributed）：在本地機器上模擬叢集，開啟裡守護程式
3、全分散式（fully distributed)：Hadoop的守護程式在叢集上跑了，生產環境了
三種模式的切換需要配置不同的引數，配置檔案在hadoop檔案中的conf資料夾下，引數如下：
centos_linux成功安裝hadoop

三、下載穩定版的hadoop，當前時間最新的是hadoop-1.1.2:
文中下載的是hadoop-1.1.2.tar.gz解壓到你想放置的地方，本文在使用者根目錄下；解壓後先將hadoop-1.1.2/conf/hadoop-env.sh中的JAVA_HOME開啟，便指向本機安裝的JDK目錄：
centos_linux成功安裝hadoop

四、將hadoop的bin檔案下的命令註冊到系統環境中，編輯/etc/profile檔案：
centos_linux成功安裝hadoop

完成後，登出系統重新登入在終端裡輸入hadoop version，正確顯示：
centos_linux成功安裝hadoop

五、選擇模式，開發學習選擇單例模式或偽分散式，需要配置的檔案是conf中core-site.xml；hdfs-site.xml；mapred-site.xml如下示例的是偽分散式：
---------------------------------------------------------------------------------
<!-- core-site.xml --&gt
fs.default.name
hdfs://localhost/
---------------------------------------------------------------------------------
<!-- hdfs-site.xml --&gt
dfs.replication
1
------------------------------------------------------------------------------------
<!-- mapred-site.xml --&gt
mapred.job.tracker
localhost:8021
六、以上ok後，終端裡啟動hdfs和mapreduce，輸入：start-all.sh後開啟瀏覽器，用hadoop提供的web工具檢視當前hadoop的運營情況,瀏覽器輸入：localhost:50070和localhost:50030：
centos_linux成功安裝hadoop

centos_linux成功安裝hadoop

七、因為偽分散式需要用ssh本地登入localhost來模擬多臺機器，所以還得正確安裝ssh並配置無密登入。
<!-- 正文結束 --&gt

相關文章