尚矽谷大資料Hadoop(22)P80-P84DataNode工作機制,資料完整性,服役新資料節點,退役舊資料節點,

Van.G發表於2020-11-16

P80-6.1DataNode工作機制

第6章 DataNode(面試開發重點)

6.1 DataNode工作機制

DataNode工作機制,如圖3-15所示。在這裡插入圖片描述
圖3-15 DataNode工作機制
1)一個資料塊在DataNode上以檔案形式儲存在磁碟上,包括兩個檔案,一個是資料本身,一個是後設資料包括資料塊的長度,塊資料的校驗和,以及時間戳。
2)DataNode啟動後向NameNode註冊,通過後,週期性(1小時)的向NameNode上報所有的塊資訊。
3)心跳是每3秒一次,心跳返回結果帶有NameNode給該DataNode的命令如複製塊資料到另一臺機器,或刪除某個資料塊。如果超過10分鐘沒有收到某個DataNode的心跳,則認為該節點不可用。
4)叢集執行中可以安全加入和退出一些機器。

相關文章