操作hadoop的經驗積累
Hadoop namenode –format
在執行格式化-format命令時,要避免namenode的namdespaceid與datanode的namespaceid的不一致。這是因為每格式化一次就會產生name,data,temp等臨時檔案記錄資訊,多次格式化會產生很多的name,data,temo,這樣容易導致id的不同,使hadoop不能正常執行。每次執行格式化—format命令時,就需要將datanode和namenode上原來的data,temp檔案刪除。
檢視群集狀態,
$ ./hadoop dfsadmin-report
ConfiguredCapacity: 53895745536 (50.19 GB)
Present Capacity:8199200768 (7.64 GB)
DFS Remaining:8199159808 (7.64 GB)
DFS Used: 40960 (40KB)
DFS Used%: 0%
Under replicatedblocks: 0
Blocks with corruptreplicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodesavailable: 1 (1 total, 0 dead)
Name:127.0.0.1:50010
Decommission Status: Normal
ConfiguredCapacity: 53895745536 (50.19 GB)
DFS Used: 40960 (40KB)
Non DFS Used:45696544768 (42.56 GB)
DFS Remaining:8199159808(7.64 GB)
DFS Used%: 0%
DFS Remaining%:15.21%
Last contact: MonAug 19 06:36:47 EDT 2013
在安裝hadoop叢集時,把要安裝的軟體解壓到叢集內的所有機器上,軟體的安裝目錄也要一致。叢集裡所有機器中的hadoop_home目錄代表安裝的根路徑,叢集中的機器要求hadoop_home路徑一致。如果叢集中的機器環境一致,可以採用這種方法統一安裝和配置叢集的機器,先在一臺機器上配置好,然後把配置好的軟體的整個資料夾複製到叢集中其他機器的目錄中,這樣就可以保障叢集中的機器配置一致性。