操作hadoop的經驗積累

weixin_34054866發表於2013-08-20

操作hadoop的經驗積累

Hadoop namenode –format

在執行格式化-format命令時,要避免namenode的namdespaceid與datanode的namespaceid的不一致。這是因為每格式化一次就會產生name,data,temp等臨時檔案記錄資訊,多次格式化會產生很多的name,data,temo,這樣容易導致id的不同,使hadoop不能正常執行。每次執行格式化—format命令時,就需要將datanode和namenode上原來的data,temp檔案刪除。

檢視群集狀態,

$ ./hadoop dfsadmin-report

ConfiguredCapacity: 53895745536 (50.19 GB)

Present Capacity:8199200768 (7.64 GB)

DFS Remaining:8199159808 (7.64 GB)

DFS Used: 40960 (40KB)

DFS Used%: 0%

Under replicatedblocks: 0

Blocks with corruptreplicas: 0

Missing blocks: 0

 

-------------------------------------------------

Datanodesavailable: 1 (1 total, 0 dead)

 

Name:127.0.0.1:50010

Decommission Status: Normal

ConfiguredCapacity: 53895745536 (50.19 GB)

DFS Used: 40960 (40KB)

Non DFS Used:45696544768 (42.56 GB)

DFS Remaining:8199159808(7.64 GB)

DFS Used%: 0%

DFS Remaining%:15.21%

Last contact: MonAug 19 06:36:47 EDT 2013

 

在安裝hadoop叢集時,把要安裝的軟體解壓到叢集內的所有機器上,軟體的安裝目錄也要一致。叢集裡所有機器中的hadoop_home目錄代表安裝的根路徑,叢集中的機器要求hadoop_home路徑一致。如果叢集中的機器環境一致,可以採用這種方法統一安裝和配置叢集的機器,先在一臺機器上配置好,然後把配置好的軟體的整個資料夾複製到叢集中其他機器的目錄中,這樣就可以保障叢集中的機器配置一致性。

相關文章