hadoop的節點間的通訊

willard發表於2013-11-15
Hadoop
一個DataNode上的Block是唯一的，多個DataNode可能有相同的Block。

2）通訊場景：

（1）NameNode的對映表上不永久儲存每個DataNode所對應的block資訊，而是通過DataNode啟動時的上報，來更新NameNode上的對映表（DataNode和Block）。

（2）DataNode和NameNode建立連線後，會定期心跳檢測更新資訊，心跳的返回也包含NameNode對DataNode的一些命令。

（3）DataNode也作為伺服器接受來自客戶端的訪問，處理資料塊讀/寫請求。

（4）DataNode之間還會相互通訊，執行資料塊複製任務，同時，在客戶端做寫操作的時候，DataNode需要相互配合，保證寫操作的一致性。

datanode之間是要通訊的，但不用ssh登入，只是socket通訊。他們之間的通訊對效能有影響，所以合理的block劃分，對效能有影響。

相關文章