Hadoop命令大全

 

1、列出所有Hadoop Shell支援的命令
  $ bin/hadoop fs -help
2、顯示關於某個命令的詳細資訊
  $ bin/hadoop fs -help command-name
3、使用者可使用以下命令在指定路徑下檢視歷史日誌彙總
  $ bin/hadoop job -history output-dir
這條命令會顯示作業的細節資訊，失敗和終止的任務細節。
4、關於作業的更多細節，比如成功的任務，以及對每個任務的所做的嘗試次數等可以用下面的命令檢視
  $ bin/hadoop job -history all output-dir
5、 格式化一個新的分散式檔案系統：
  $ bin/hadoop namenode -format
6、在分配的NameNode上，執行下面的命令啟動HDFS：
  $ bin/start-dfs.sh
  bin/start-dfs.sh指令碼會參照NameNode上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上啟動DataNode守護程式。
7、在分配的JobTracker上，執行下面的命令啟動Map/Reduce：
  $ bin/start-mapred.sh
  bin/start-mapred.sh指令碼會參照JobTracker上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上啟動TaskTracker守護程式。
8、在分配的NameNode上，執行下面的命令停止HDFS：
  $ bin/stop-dfs.sh
  bin/stop-dfs.sh指令碼會參照NameNode上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上停止DataNode守護程式。
9、在分配的JobTracker上，執行下面的命令停止Map/Reduce：
  $ bin/stop-mapred.sh
  bin/stop-mapred.sh指令碼會參照JobTracker上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上停止TaskTracker守護程式。
 
DFSShell
10、建立一個名為 /foodir 的目錄
  $ bin/hadoop dfs -mkdir /foodir
11、建立一個名為 /foodir 的目錄   
  $ bin/hadoop dfs -mkdir /foodir
12、檢視名為 /foodir/myfile.txt 的檔案內容   
  $ bin/hadoop dfs -cat /foodir/myfile.txt
 
DFSAdmin
13、將叢集置於安全模式      
  $ bin/hadoop dfsadmin -safemode enter
14、顯示Datanode列表   
  $ bin/hadoop dfsadmin -report
15、使Datanode節點 datanodename退役  
  $ bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin -help 命令能列出所有當前支援的命令。比如：
    * -report：報告HDFS的基本統計資訊。有些資訊也可以在NameNode Web服務首頁看到。
    * -safemode：雖然通常並不需要，但是管理員的確可以手動讓NameNode進入或離開安全模式。
    * -finalizeUpgrade：刪除上一次升級時製作的叢集備份。
17、顯式地將HDFS置於安全模式
  $ bin/hadoop dfsadmin -safemode
18、在升級之前，管理員需要用（升級終結操作）命令刪除存在的備份檔案
  $ bin/hadoop dfsadmin -finalizeUpgrade
19、能夠知道是否需要對一個叢集執行升級終結操作。
  $ dfsadmin -upgradeProgress status
20、使用-upgrade選項執行新的版本
  $ bin/start-dfs.sh -upgrade
21、如果需要退回到老版本,就必須停止叢集並且部署老版本的Hadoop，用回滾選項啟動叢集
  $ bin/start-dfs.h -rollback
22、下面的新命令或新選項是用於支援配額的。 前兩個是管理員命令。 
    * dfsadmin -setquota ...
      把每個目錄配額設為N。這個命令會在每個目錄上嘗試， 如果N不是一個正的長整型數，目錄不存在或是檔名， 或者目錄超過配額，則會產生錯誤報告。
    * dfsadmin -clrquota ...
      為每個目錄刪除配額。這個命令會在每個目錄上嘗試，如果目錄不存在或者是檔案，則會產生錯誤報告。如果目錄原來沒有設定配額不會報錯。
    * fs -count -q ...
      使用-q選項，會報告每個目錄設定的配額，以及剩餘配額。 如果目錄沒有設定配額，會報告none和inf。
23、建立一個hadoop檔案檔案
  $ hadoop archive -archiveName NAME *
                        -archiveName NAME  要建立的檔案的名字。
                        src 檔案系統的路徑名，和通常含正則表達的一樣。
                        dest 儲存檔案檔案的目標目錄。
24、遞迴地複製檔案或目錄
  $ hadoop distcp
                        srcurl      源Url
                        desturl     目標Url
 
25、執行HDFS檔案系統檢查工具(fsck tools)
用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
命令選項     描述
      檢查的起始目錄。
-move             移動受損檔案到/lost+found
-delete     刪除受損檔案。
-openforwrite     列印出寫開啟的檔案。
-files             列印出正被檢查的檔案。
-blocks     列印出塊資訊報告。
-locations     列印出每個塊的位置資訊。
-racks             列印出data-node的網路拓撲結構。
26、用於和Map Reduce作業互動和命令(jar)
用法：hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] | [-counter ] | [-kill ] | [-events ] | [-history [all] ] | [-list [all]] | [-kill-task ] | [-fail-task ]
命令選項                                                    描述
-submit                                             提交作業
-status                                             列印map和reduce完成百分比和所有計數器。
-counter                     列印計數器的值。
-kill                                                     殺死指定作業。
-events                     列印給定範圍內jobtracker接收到的事件細節。
-history [all]      -history         列印作業的細節、失敗及被殺死原因的細節。更多的關於一個作業的細節比如
                                                               成功的任務，做過的任務嘗試等資訊可以透過指定[all]選項檢視。
-list [all]     -list all                                      顯示所有作業。-list只顯示將要完成的作業。
-kill-task                                             殺死任務。被殺死的任務不會不利於失敗嘗試。
-fail-task                                             使任務失敗。被失敗的任務會對失敗嘗試不利。
27、執行pipes作業
用法：hadoop pipes [-conf ] [-jobconf , , ...] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]
命令選項                              描述
-conf                               作業的配置
-jobconf , , ...      增加/覆蓋作業的配置項
-input                               輸入目錄
-output                         輸出目錄
-jar                       Jar檔名
-inputformat                       InputFormat類
-map                               Java Map類
-partitioner                       Java Partitioner
-reduce                       Java Reduce類
-writer                       Java RecordWriter
-program                       可執行程式的URI
-reduces                               reduce個數
28、列印版本資訊。
 用法：hadoop version
29、hadoop指令碼可用於調呼叫任何類。
 用法：hadoop CLASSNAME
            執行名字為CLASSNAME的類。
30、執行叢集平衡工具。管理員可以簡單的按Ctrl-C來停止平衡過程(balancer)
 用法：hadoop balancer [-threshold ]
命令選項                             描述
-threshold                      磁碟容量的百分比。這會覆蓋預設的閥值。
31、獲取或設定每個守護程式的日誌級別(daemonlog)。
用法：hadoop daemonlog -getlevel
用法：hadoop daemonlog -setlevel
命令選項                                        描述
-getlevel                         列印執行在的守護程式的日誌級別。這個命令內部會連線>
32、執行一個HDFS的datanode。
用法：hadoop datanode [-rollback]
命令選項                                       描述
-rollback                                       將datanode回滾到前一個版本。這需要在停止datanode，分發老的hadoop版本之後使用。
33、執行一個HDFS的dfsadmin客戶端。
用法：hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota ...] [-clrQuota ...] [-help [cmd]]
命令選項                                                        描述
-report                                                        報告檔案系統的基本資訊和統計資訊。
-safemode enter | leave | get | wait                                安全模式維護命令。安全模式是Namenode的一個狀態，這種狀態下，Namenode
1. 不接受對名字空間的更改(只讀)
2. 不復制或刪除塊
Namenode會在啟動時自動進入安全模式，當配置的塊最小百分比數滿足最小的副本數條件時，會自動離開安全模式。安全模式可以手動進入，但是這樣的話也必須手動關閉安全模式。
-refreshNodes                                      重新讀取hosts和exclude檔案，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。
-finalizeUpgrade                              終結HDFS的升級操作。Datanode刪除前一個版本的工作目錄，之後Namenode也這樣做。這個操作完結整個升級過程。
-upgradeProgress status | details | force      請求當前系統的升級狀態，狀態的細節，或者強制升級操作進行。
-metasave filename                              儲存Namenode的主要資料結構到hadoop.log.dir屬性指定的目錄下的檔案。對於下面的每一項，
                                                 中都會一行內容與之對應
1. Namenode收到的Datanode的心跳訊號
2. 等待被複制的塊
3. 正在被複制的塊
4. 等待被刪除的塊
-setQuota ...     為每個目錄 設定配額。目錄配額是一個長整型整數，強制限定了目錄樹下的名字個數。
命令會在這個目錄上工作良好，以下情況會報錯：
1. N不是一個正整數，或者
2. 使用者不是管理員，或者
3. 這個目錄不存在或是檔案，或者
4. 目錄會馬上超出新設定的配額。
-clrQuota ...     為每一個目錄清除配額設定。
命令會在這個目錄上工作良好，以下情況會報錯：
1. 這個目錄不存在或是檔案，或者
2. 使用者不是管理員。
如果目錄原來沒有配額不會報錯。
-help [cmd]     顯示給定命令的幫助資訊，如果沒有給定命令，則顯示所有命令的幫助資訊。
34、執行MapReduce job Tracker節點(jobtracker)。
用法：hadoop jobtracker
35、執行namenode。有關升級，回滾，升級終結的更多資訊請參考升級和回滾。
用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
命令選項                             描述
-format                             格式化namenode。它啟動namenode，格式化namenode，之後關閉namenode。
-upgrade                             分發新版本的hadoop後，namenode應以upgrade選項啟動。
-rollback                             將namenode回滾到前一版本。這個選項要在停止叢集，分發老的hadoop版本後使用。
-finalize                             finalize會刪除檔案系統的前一狀態。最近的升級會被持久化，rollback選項將再
                                        不可用，升級終結操作之後，它會停掉namenode。
-importCheckpoint                     從檢查點目錄裝載映象並儲存到當前檢查點目錄，檢查點目錄由fs.checkpoint.dir指定。
36、執行HDFS的secondary namenode。
用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
命令選項                             描述
-checkpoint [force]                     如果EditLog的大小 >= fs.checkpoint.size，啟動Secondary namenode的檢查點
                                        過程。 如果使用了-force，將不考慮EditLog的大小。
-geteditsize                             列印EditLog大小。
37、執行MapReduce的task Tracker節點。
 

 
hadoop tasktracker
1、列出所有Hadoop Shell支援的命令
  $ bin/hadoop fs -help
2、顯示關於某個命令的詳細資訊
  $ bin/hadoop fs -help command-name
3、使用者可使用以下命令在指定路徑下檢視歷史日誌彙總
  $ bin/hadoop job -history output-dir
這條命令會顯示作業的細節資訊，失敗和終止的任務細節。
4、關於作業的更多細節，比如成功的任務，以及對每個任務的所做的嘗試次數等可以用下面的命令檢視
  $ bin/hadoop job -history all output-dir
5、 格式化一個新的分散式檔案系統：
  $ bin/hadoop namenode -format
6、在分配的NameNode上，執行下面的命令啟動HDFS：
  $ bin/start-dfs.sh
  bin/start-dfs.sh指令碼會參照NameNode上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上啟動DataNode守護程式。
7、在分配的JobTracker上，執行下面的命令啟動Map/Reduce：
  $ bin/start-mapred.sh
  bin/start-mapred.sh指令碼會參照JobTracker上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上啟動TaskTracker守護程式。
8、在分配的NameNode上，執行下面的命令停止HDFS：
  $ bin/stop-dfs.sh
  bin/stop-dfs.sh指令碼會參照NameNode上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上停止DataNode守護程式。
9、在分配的JobTracker上，執行下面的命令停止Map/Reduce：
  $ bin/stop-mapred.sh
  bin/stop-mapred.sh指令碼會參照JobTracker上${HADOOP_CONF_DIR}/slaves檔案的內容，在所有列出的slave上停止TaskTracker守護程式。
 
DFSShell
10、建立一個名為 /foodir 的目錄
  $ bin/hadoop dfs -mkdir /foodir
11、建立一個名為 /foodir 的目錄    
  $ bin/hadoop dfs -mkdir /foodir
12、檢視名為 /foodir/myfile.txt 的檔案內容    
  $ bin/hadoop dfs -cat /foodir/myfile.txt
 
DFSAdmin
13、將叢集置於安全模式     
  $ bin/hadoop dfsadmin -safemode enter
14、顯示Datanode列表    
  $ bin/hadoop dfsadmin -report
15、使Datanode節點 datanodename退役   
  $ bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin -help 命令能列出所有當前支援的命令。比如：
    * -report：報告HDFS的基本統計資訊。有些資訊也可以在NameNode Web服務首頁看到。
    * -safemode：雖然通常並不需要，但是管理員的確可以手動讓NameNode進入或離開安全模式。
    * -finalizeUpgrade：刪除上一次升級時製作的叢集備份。
17、顯式地將HDFS置於安全模式
  $ bin/hadoop dfsadmin -safemode
18、在升級之前，管理員需要用（升級終結操作）命令刪除存在的備份檔案
  $ bin/hadoop dfsadmin -finalizeUpgrade
19、能夠知道是否需要對一個叢集執行升級終結操作。
  $ dfsadmin -upgradeProgress status
20、使用-upgrade選項執行新的版本
  $ bin/start-dfs.sh -upgrade
21、如果需要退回到老版本,就必須停止叢集並且部署老版本的Hadoop，用回滾選項啟動叢集
  $ bin/start-dfs.h -rollback