我叫hadoop

　第一回 新入環境  

　　我的名字是hadoop，我一出生我的爸爸雅虎就給我取了這樣一個名字：hadoop，我也不知道為什麼叫這個名字,剛出生沒多久,雅虎爸爸就把我領進一個黑暗的屋子裡面,屋裡堆滿了黑色的箱子,裡面出奇的冷.

我一臉懵懂,“爸爸，這是哪裡？” 

　　“不要著急，馬上你就會明白了，聽爸爸的話,進去之後要好好做事.”

　　爸爸把我送到房間盡頭的樓梯旁跟我說:"進去吧,爸爸回家了,在外面好好闖蕩哈,吃虧是福,爸爸在家等你",說完爸爸輕輕地走了.我發呆望著爸爸.

　　正當我心中還念念不忘爸爸的時候,眼神無意中滑到了樓梯旁邊,我看著旁邊破舊的樓梯,心想這麼破的樓梯也沒個人修修,樓梯上面掛著一個破舊的牌子,上面寫著四個字母"sftp".這到底是什麼地方,我心中唸叨著.

　　"hadoop 快進 磨蹭什麼玩意",只聽見一個凶神惡煞的門衛怒吼道.

   　　什麼? hadoop? 不就是我嗎,我趕緊順著樓梯上了樓上的房間.

　　"磨蹭什麼玩意,這麼多人就等你呢",旁邊一個人一臉不耐煩地看著我,我沒敢耽誤趕緊走了進去,看樣子那麼多人都排著隊呢,我緊挨著他們,他們和我一樣胸前都掛著牌子,我仔細看著他們每個人身上牌子,"hive","flume","sqoop","azkaban"等等等.看半天沒看出什麼所以然來.

　　"兄弟,我們們在這排隊是要幹什麼呀?",我輕聲問著前面叫flume的兄弟.

　　"還能幹什麼,看見那一堆堆的log資料沒,一會都是你要處理的",兄弟答道

　　我看著那堆積如山的資料不寒而慄,忽然我耳邊迴響起起爸爸時常和朋友談起的資料儲存,資料計算等等關於資料的事情.難道我來就是處理這些資料的嘛.

　　很快就輪到我了,我被一個粗胖的大漢拿著膠帶把我打包成一個大箱子扔進了一個叫centos的地方,進去之後我從箱子裡出來,觀察著周圍的光電閃爍,我看裡面一個個人忙得手忙腳亂,他在裡面手舞足蹈揮舞著指揮棒,就像一個音樂指揮家一樣,我走近了瞅見了他身上的牌子,上面金光閃閃地寫著CPU三個大字母,原來他是爸爸常跟我提起的中央處理器,忽然他指著我說:"hadoop你過來把這一堆資料處理了,完不成馬上把你kill掉"

　　第二回 暫露頭腳

　　接收到CPU的命令以後,我一臉茫然,這麼多資料我怎麼可能幹得完,難道只能等著被幹掉?旁邊掛著flume牌子的大哥看出了我的困惑,低聲對我說:"這麼多資料你搞不定的,你必須把自己複製幾份在另幾個centos伺服器上面你們幾個一起幹活,你去問centos伺服器的主人要另外幾臺伺服器的賬號密碼來傳輸備份"

　　是的,,看來只能這樣了,但是那麼多的hadoop在不同的伺服器上面總要有一個來進行管理吧,不然幹起活來豈不亂套?誰管理呢?君臨天下捨我其誰,就我吧,

　　我思索著,我瞅著自己身上的三個元件:

　　第一個是儲存檔案的hdfs元件,

　　第二個是排程資源的yarn元件,

　　第三個是計算資料的mapreduce元件,

　　hdfs檔案系統角色需要有一個管理者,化名namenode,專門總體管理各個伺服器上面資料吧,其他伺服器上面的就叫datanode專門儲存資料,我做namenode,其他datanode服從我的管理.

  　 yarn資源管理角色需要一個管理者,化名resourcemanager,,專門管理總資源,其他伺服器上面資源管理的化名nodemanager,我做resourcemanager,其他nodemananger服從我的的管理.

 　  對於mapreduce資料計算這一塊,就一干粗活的,就讓他服從nodemanger安排吧,我就做總司令.

  　 哈哈,角色都安排好了,此刻我洋洋得意了,忽然想起一個問題了,怎麼進行聯絡呢,我這個管理的總司令的命令怎麼下發呢,大家都在不同的伺服器上面呀,我經過一番思索,覺得我可以用HTTP或者RPC

   　怎麼選擇呢?HTTP? HTTP協議是在傳輸層協議TCP之上的,而RPC就是基於傳輸層協議TCP的,很明顯RPC更底層,那也就是說用RPC更快,OK,就用RPC聯絡.

      小hadoop準備工作完畢..

原文出處：https://www.cnblogs.com/makailong/p/9375722.html