尚矽谷大資料Hadoop（22）P80-P84DataNode工作機制，資料完整性，服役新資料節點，退役舊資料節點，

Van.G發表於2020-11-16
大資料Hadoop

P80-6.1DataNode工作機制

第6章 DataNode（面試開發重點）

6.1 DataNode工作機制

DataNode工作機制，如圖3-15所示。在這裡插入圖片描述
圖3-15 DataNode工作機制
1）一個資料塊在DataNode上以檔案形式儲存在磁碟上，包括兩個檔案，一個是資料本身，一個是後設資料包括資料塊的長度，塊資料的校驗和，以及時間戳。
2）DataNode啟動後向NameNode註冊，通過後，週期性（1小時）的向NameNode上報所有的塊資訊。
3）心跳是每3秒一次，心跳返回結果帶有NameNode給該DataNode的命令如複製塊資料到另一臺機器，或刪除某個資料塊。如果超過10分鐘沒有收到某個DataNode的心跳，則認為該節點不可用。
4）叢集執行中可以安全加入和退出一些機器。

相關文章