瞭解全域性的好處,片記數字 - 71

leniz發表於2016-12-29
加班加點地完成了Hadoop權威指南,對Hadoop的開發有一個比較粗淺但是稍微全面一點的認識。好處是顯而易見的,知道
新的組建在整個體系的地位,是必需品還是附加品。 當然這點認識遠遠不夠,傍晚經過兩天的努力,終於出來了第一版姓名
使用率的排序結果, 蠻激動的,就是沒人可以一起分享。

接來下的任何不適特別明確,但是方向算是比較明確了。 多接觸例項,比如好友推薦,各種相關性結果推導。


------------------------------
一些數字:
1. 每個檔案、目錄和資料塊的儲存資訊大約佔150位元組,因此一百萬個檔案,且每個檔案佔一個資料塊,至少需要300 MB的記憶體。
2. HDFS block 預設為64 MB,實際情況如果檔案不夠64MB,佔用空間會是實際大小,而不是最小塊的大小
3. 預設副本數3份

 

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/554557/viewspace-2131632/,如需轉載,請註明出處,否則將追究法律責任。

相關文章