hadoop 2.0 hdfs HA 搭建

屋漏偏逢連夜雨. 


忙的不可開交的關鍵時刻,  機房ups **了, 而且還是很實在的燒了. 

滿機房的煙霧. 

我的可憐的兩套hadoop  大部分節點都掉電崩潰了. 


緊急忙碌一番起來了.   hadoop 1.x  啟動各個服務都沒有問題 順利上線. 


hadoop  2.0  的壞掉了一個 namenode  ,  報fsimg 格式錯誤,無法啟動了. 


重做了這個namenode .  因為用了 dfs  ha 功能, 一個節點沒有問題啟動了. 


怎麼辦,  把其中一個好的節點fsimg  拿到 故障節點 覆蓋掉原來的. 

1.  停掉叢集.    

2.  把fsimg 這一套拿到 故障節點 覆蓋掉. 

3.  手工啟動qjournal 

4.故障節點執行   

hdfs namenode -bootstrapStandby

下面提示要不要reformat  這個 地方要選format  ,其實就是把fsimg  格式化了, 然後重新從 qjournal 裡下載一個.  

不會對hdfs 的檔案造成損壞. 


螢幕輸出: 

 hdfs namenode -bootstrapStandby

螢幕輸出************************************************************/

16/03/02 16:25:14 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]

16/03/02 16:25:14 INFO namenode.NameNode: createNameNode [-bootstrapStandby]

=====================================================

About to bootstrap Standby ID nn2 from:

           Nameservice ID: clusterpc

        Other Namenode ID: nn1

  Other NN's HTTP address: http://192.168.8.51:50070

  Other NN's IPC  address: 192.168.8.51:8020

             Namespace ID: 1056927543

            Block pool ID: BP-246106129-192.168.8.51-1446005986553

               Cluster ID: CID-fd414ff4-872a-4882-b304-989560cca1dc

           Layout version: -63

       isUpgradeFinalized: true

=====================================================

Re-format filesystem in Storage Directory /data/hadoop/dfs/name ? (Y or N) Y

Re-format filesystem in Storage Directory /data1/hadoop/dfs/name ? (Y or N) Y

16/03/02 16:28:05 INFO common.Storage: Storage directory /data/hadoop/dfs/name has been successfully formatted.

16/03/02 16:28:05 INFO common.Storage: Storage directory /data1/hadoop/dfs/name has been successfully formatted.

16/03/02 16:28:06 INFO namenode.TransferFsImage: Opening connection to http://192.168.8.51:50070/imagetransfer?getimage=1&txid=23586912&storageInfo=-63:1056927543:0:CID-fd414ff4-872a-4882-b304-989560cca1dc

16/03/02 16:28:06 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds

16/03/02 16:28:07 INFO namenode.TransferFsImage: Transfer took 0.97s at 99329.21 KB/s

16/03/02 16:28:07 INFO namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000023586912 size 98560063 bytes.

16/03/02 16:28:07 INFO util.ExitUtil: Exiting with status 0

16/03/02 16:28:07 INFO namenode.NameNode: SHUTDOWN_MSG: 

然後正常的啟動整個叢集就好了.  


然後檢查下日誌輸出 . ok  兩個 namenode 都起了. 



[hadoop@hadoop-8-52 sbin]$ hdfs  haadmin -getServiceState nn1 
active
[hadoop@hadoop-8-52 sbin]$ hdfs  haadmin -getServiceState nn2
standby