DKHadoop安裝的環境準備介紹

前幾天去參加了一個線下的聚會，參加聚會的基本都是從事網際網路工作的。會上有人提到了區塊鏈，從而引發了一場關於大資料方面的探討。我也是從去年才正式接觸大資料，一直在學習 hadoop。相信接觸過hadoop的人都知道，。單獨搭建hadoop裡每個組建都需要執行環境、修改配置檔案、測試等過程，每個元件幾乎都有坑，尤其是讓新手甚是苦惱。此前有在微博上與一些博友瞭解過他們的配置過程，有的配置了好幾天愣是沒成功。

Hadoop執行環境配置的坑只有走過的人才懂，不過發現了一個比較有意思的國產hadoop發行版——大快的DKH發行版DKHadoop。DKHadoop將開源社群裡多種常用組建包括：HDFS，Hbase，Storm，Flume，Kafka，Mahout，ES等都整合到了這一個平臺裡，所以整個執行環境的配置安裝就大大被簡化了。

 

我把此前安裝的過程整理了一下分享給感興趣的朋友，主要分為：準備階段、伺服器作業系統配置、 DKH系統安裝、常見問題解決方法四個部門。由於文章偏於較長，本篇重點為大家分享第一部分——準備階段。

第一部分：準備工作

1、  大資料平臺所需配置：

(1) 系統：CentOS 6.5 64位（需預設安裝Desktop）

(2) CPU ：intel E3及以上。

(3) 記憶體：建議最小8G,用圖計算建議32G,推薦128G。

(4) 硬碟：256G以上,推薦使用固態硬碟。

(5) 系統分割槽要求： 如無特殊需求，除swap分割槽外，可將剩餘空間全部分配 到/ （根） 分割槽

(6) 網路要求：如無特殊情況，儘量可以接入外網。

(7) 至少三臺伺服器（三臺伺服器名字任意起，密碼須一致）。

   （ 8）安裝使用root使用者作為預設使用者

2、  遠端上傳和遠端連線工具：

（1）  若直接使用個人 PC開啟的虛擬機器作為伺服器的基礎，直接拷貝到虛擬機器下即可。

（2）  若是使用機房伺服器作平臺搭建的伺服器，如若不能直接接觸到伺服器，則需要使用遠端工具連線併傳送安裝包 。

第一部分的主要是安裝前的準備工作，除了做好上述這些，還需要去下載一下 DKH安裝版本。需要的朋友也可以搜尋主要一下，如果沒有找到可以留言給我。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31524777/viewspace-2284215/，如需轉載，請註明出處，否則將追究法律責任。