Hadoop大資料平臺運維工程師須掌握的基本命令集分享
本博文收集和整理了在日常維護hadoop叢集時運維工程師需要掌握的最基本的hadoop管理與維護的相關命令，在此分享出來供大家參考學習~博主也是剛剛接觸hadoop不久，如有問題歡迎批評指正~非常感謝
1、列出所有Hadoop Shell支援的命令
$ bin/hadoop fs -help
2、顯示關於某個命令的詳細資訊
$ bin/hadoop fs -help command-name
3、使用者可使用以下命令在指定路徑下檢視歷史日誌彙總
$ bin/hadoop job -history output-dir #這條命令會顯示作業的細節資訊，失敗和終止的任務細節。
4、關於作業的更多細節，比如成功的任務，以及對每個任務的所做的嘗試次數等可以用下面的命令檢視
$ bin/hadoop job -history all output-dir
5、 格式化一個新的分散式檔案系統：
$ bin/hadoop namenode -format
6、在分配的NameNode上，執行下面的命令啟動HDFS：
$ bin/start-dfs.sh #指令碼會參照NameNode上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上啟動DataNode守護程式。
7、在分配的JobTracker上，執行下面的命令啟動Map/Reduce：
$ bin/start-mapred.sh #指令碼會參照JobTracker上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上啟動TaskTracker守護程式。
8、在分配的NameNode上，執行下面的命令停止HDFS：
$ bin/stop-dfs.sh #指令碼會參照NameNode上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上停止DataNode守護程式。
9、在分配的JobTracker上，執行下面的命令停止Map/Reduce：
$ bin/stop-mapred.sh #指令碼會參照JobTracker上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上停止TaskTracker守護程式。
10、建立一個名為 /foodir 的目錄
$ bin/hadoop dfs -mkdir /foodir
11、建立一個名為 /foodir 的目錄
$ bin/hadoop dfs -mkdir /foodir
12、檢視名為 /foodir/myfile.txt 的檔案內容
$ bin/hadoop dfs -cat /foodir/myfile.txt
13、將叢集置於安全模式
$ bin/hadoop dfsadmin -safemode enter
14、顯示Datanode列表
$ bin/hadoop dfsadmin -report
15、使Datanode節點datanode name退役
$ bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin -help 命令能列出所有當前支援的命令。
比如：
* -report：報告HDFS的基本統計資訊。有些資訊也可以在NameNode Web服務首頁看到。
* -safemode：雖然通常並不需要，但是管理員的確可以手動讓NameNode進入或離開安全模式。
* -finalizeUpgrade：刪除上一次升級時製作的叢集備份。
17、顯式地將HDFS置於安全模式
$ bin/hadoop dfsadmin -safemode
18、在升級之前，管理員需要用（升級終結操作）命令刪除存在的備份檔案
$ bin/hadoop dfsadmin -finalizeUpgrade
19、能夠知道是否需要對一個叢集執行升級終結操作。
$ dfsadmin -upgradeProgress status
20、使用-upgrade選項執行新的版本
$ bin/start-dfs.sh -upgrade
21、如果需要退回到老版本,就必須停止叢集並且部署老版本的Hadoop，用回滾選項啟動叢集
$ bin/start-dfs.h -rollback
22、下面的新命令或新選項是用於支援配額，前兩個是管理員命令。
* dfsadmin -setquota …
把每個目錄配額設為N。這個命令會在每個目錄上嘗試，如果N不是一個正的長整型數，目錄不存在或是檔名或者目錄超過配額則會產生錯誤報告。
* dfsadmin -clrquota …
為每個目錄刪除配額。這個命令會在每個目錄上嘗試，如果目錄不存在或者是檔案，則會產生錯誤報告。如果目錄原來沒有設定配額不會報錯。
* fs -count -q …
使用-q選項，會報告每個目錄設定的配額以及剩餘配額。如果目錄沒有設定配額，會報告none和inf。
23、建立一個hadoop檔案檔案
$ hadoop archive -archiveName NAME *
#-archiveName NAME 要建立的檔案的名字。
#src 檔案系統的路徑名，和通常含正則表達的一樣。
#dest 儲存檔案檔案的目標目錄。
24、遞迴地拷貝檔案或目錄
$ hadoop distcp
srcurl 源uri
desturl 目標uri
25、執行HDFS檔案系統檢查工具(fsck tools)
用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
命令選項 描述
———————————————————————————————————————
檢查的起始目錄。
-move 移動受損檔案到/lost+found
-delete 刪除受損檔案。
-openforwrite 列印出寫開啟的檔案。
-files 列印出正被檢查的檔案。
-blocks 列印出塊資訊報告。
-locations 列印出每個塊的位置資訊。
-racks 列印出data-node的網路拓撲結構。
26、用於和Map Reduce作業互動和命令(jar)
用法：hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] |
[-counter ] | [-kill ] |
[-events ] | [-history [all] ] |
[-list [all]] | [-kill-task ] | [-fail-task ]
命令選項 描述
—————————————————————————————————————————–
-submit 提交作業
-status 列印map和reduce完成百分比和所有計數器
-counter 列印計數器的值
-kill 殺死指定作業
-events 列印給定範圍內jobtracker接收到的事件細節
-history [all] -history 列印作業的細節、失敗及被殺死原因的細節
-list [all] -list all 顯示所有作業 -list只顯示將要完成的作業
-kill-task 殺死任務被殺死的任務不會不利於失敗嘗試
-fail-task 使任務失敗 被失敗的任務會對失敗嘗試不利
27、執行pipes作業
用法：hadoop pipes [-conf ] [-jobconf , , …] [-input ]
[-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ]
[-reduce ] [-writer ] [-program ] [-reduces ]
命令選項 描述
—————————————————————————————————————————–
-conf 作業的配置
-jobconf , , … 增加/覆蓋作業的配置項
-input 輸入目錄
-output 輸出目錄
-jar Jar檔名
-inputformat InputFormat類
-map Java Map類
-partitioner Java Partitioner
-reduce Java Reduce類
-writer Java RecordWriter
-program 可執行程式的URI
-reduces reduce個數
28、列印版本資訊。
用法：hadoop version
29、hadoop指令碼可用於調呼叫任何類。
用法：hadoop CLASSNAME #執行名字為CLASSNAME的類。
30、執行叢集平衡工具管理員可以簡單的按Ctrl-C來停止平衡過程(balancer)
用法：hadoop balancer [-threshold ]
命令選項 描述
——————————————————————————–
-threshold 磁碟容量的百分比。這會覆蓋預設的閥值。
31、獲取或設定每個守護程式的日誌級別(daemonlog)。
用法：hadoop daemonlog -getlevel
用法：hadoop daemonlog -setlevel
命令選項 描述
—————————————————————————————————————————–
-getlevel 列印執行在的守護程式的日誌級別
-setlevel 設定執行在的守護程式的日誌級別
32、執行一個HDFS的datanode。
用法：hadoop datanode [-rollback]
命令選項 描述
—————————————————————————————————————————–
-rollback 將datanode回滾到前一個版本。這需要在停止datanode，分發老的hadoop版本之後使用。
33、執行一個HDFS的dfsadmin客戶端
用法：hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave
| get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status |
details | force] [-metasave filename] [-setQuota …] [-clrQuota …] [-help [cmd]]
34、執行MapReduce job Tracker節點(jobtracker)。
用法：hadoop jobtracker
35、執行namenode。有關升級，回滾，升級終結的更多資訊請參考官方升級和回滾的文件資訊
用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
命令選項 描述
—————————————————————————————————————————–
-format 格式化namenode。它啟動namenode，格式化namenode，之後關閉namenode
-upgrade 分發新版本的hadoop後，namenode應以upgrade選項啟動
-rollback 將namenode回滾到前一版本。這個選項要在停止叢集，分發老的hadoop版本後使用
-finalize finalize會刪除檔案系統的前一狀態。最近的升級會被持久化，rollback選項將再不可用，升級終結操作之後會停掉namenode
-importCheckpoint 從檢查點目錄裝載映象並儲存到當前檢查點目錄，檢查點目錄由fs.checkpoint.dir指定
36、執行HDFS的secondary namenode。
用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
—————————————————————————————————————————–
命令選項 描述
-checkpoint [force] 如果EditLog的大小>= fs.checkpoint.size啟動Secondary namenode的檢查點過程。若使用了-force將不考慮EditLog的大小
-geteditsize 列印EditLog大小。
37、執行MapReduce的task Tracker節點。
用法：hadoop tasktracker
38、顯式地將HDFS置於安全模式
$ bin/hadoop dfsadmin -safemode
39、在升級之前，管理員需要用（升級終結操作）命令刪除存在的備份檔案
$ bin/hadoop dfsadmin -finalizeUpgrade
40、能夠知道是否需要對一個叢集執行升級終結操作。
$ dfsadmin -upgradeProgress status
41、使用-upgrade選項執行新的版本
$ bin/start-dfs.sh -upgrade
42、如果需要退回到老版本,就必須停止叢集並且部署老版本的Hadoop，用回滾選項啟動叢集
$ bin/start-dfs.h -rollback
未完待續………………………
相關文章
- 運維工程師需要掌握的7大武器運維工程師
- 深度解析大快DKadoop大資料運維管理平臺功能OOP大資料運維
- Linux運維工程師入門須掌握的10個技術點Linux運維工程師
- 大資料和Hadoop平臺介紹大資料Hadoop
- Hadoop大資料平臺之HBase部署Hadoop大資料
- Hadoop大資料平臺之Kafka部署Hadoop大資料Kafka
- 大資料平臺Hadoop叢集搭建大資料Hadoop
- sed、awk——運維必須掌握的兩個工具運維
- 運維工程師要掌握的內容運維工程師
- 入門Linux運維工程師，必須要掌握的10個技術點Linux運維工程師
- Hadoop大資料平臺有何優勢？Hadoop大資料
- SQl資料庫快速入門必須掌握的四大基本語句SQL資料庫
- 運維平臺的建設思考-後設資料管理運維
- 基於Apache Ambari搭建Hadoop大資料平臺ApacheHadoop大資料
- EMR重磅釋出智慧運維診斷系統(EMR Doctor)——開源大資料平臺運維利器運維大資料
- 京東資料庫智慧運維平臺建設之路資料庫運維
- 阿里巴巴雲原生大資料運維平臺 SREWorks 正式開源阿里大資料運維
- 如何挑選合適的大資料或Hadoop平臺?大資料Hadoop
- 運維平臺的建設思考-後設資料管理（五）運維
- 資料庫的智慧化運維和故障平臺預測資料庫運維
- 運維平臺的建設思考-後設資料管理（三）運維
- 運維平臺的建設思考-後設資料管理（四）運維
- 運維平臺的建設思考-後設資料管理（二）運維
- 大資料技術不能被平臺濫用，必須維護消費者的合法權益大資料
- 大資料平臺基礎架構hadoop安全分析大資料架構Hadoop
- 大資料平臺對企業運營的意義大資料
- 阿里海量大資料平臺的運維智慧化實踐阿里大資料運維
- 大資料工程師需要掌握的知識點大資料工程師
- 運維平臺的建設思考運維
- 資料平臺、大資料平臺、資料中臺……還分的清不？大資料
- 分享4個運維平臺工具OSSIM、Ansible的學習思路運維
- hadoop大資料平臺安全基礎知識入門Hadoop大資料
- 資料分享 | 第十三屆GOPS 全球運維大會Go運維
- SQL on Hadoop在快手大資料平臺的實踐與優化SQLHadoop大資料優化
- TDS：標籤平臺+API平臺+資料共享平臺，助力資料運營平臺建設API
- 運維的未來是平臺工程運維
- 餘利華：網易大資料平臺架構實踐分享！大資料架構
- 優秀前端開發工程師必須掌握的七大技能前端工程師