透過Docker快速部署啟動Apache Hadoop及Cloudera

精靈雲發表於2016-04-27

本文來源:Ghostcloud原創


玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能還不知道,Docker也可以作為快速啟動項來部署啟動Apache Hadoop和Cloudera,而且速度要比其他啟動方式更快。

說到QuickStart VM,大家可能都很熟了,從本質上來說QuickStart VM就是一個包含了分散式資料處理平臺的虛擬映象。一開始的時候QuickStart VM只是一個demo環境,但後來發展得很火,用途也變得非常廣,不管是開發人員,客戶,還是合作企業,很多都在用QuickStart VM。我總結了一下,現在QuickStart VM的用途主要是在這幾個方面:


·方便使用者試執行CDH,並瞭解CDH的新功能、新元件

·因為可以很方便地部署Hadoop,所以經常被新手拿來練手

·用來做持續整合、API測試等等

·使用者有新想法或者新應用的時候,可以用QuickStart VM做模擬執行環境

·使用者可以把自己的軟體部署在QuickStart VM裡面進行演示


QuickStart VM包括VMware、VirtualBox、KVM(這個可以作為磁碟映象來用)幾個類別,當然還有其他一些格式,這幾種虛擬化平臺都是早就開放給大家使用了。不過隨著Docker之類的容器技術越來越火,很多運維人員都開始嘗試用新技術來替代傳統的VM映象,讓應用的部署更簡便。


在這種情況下,Cloudera QuickStart Docker映象就應運而生了。對於Docker使用者來說,這個映象是非常輕量的,而且用起來也很方便,不用的時候可以隨時銷燬,不管是用於技術學習也好,用來實現產品創意也好,還是做規模測試前期的持續整合也好,Cloudera QuickStart Docker映象都是很好用的(但是在投入產品環境之前,最好還是先放到一個更貼近真實情況的測試環境裡面跑一下)。


Docker跟傳統的虛擬化平臺還是有很多不一樣的地方,比方說,Docker可以在Linux平臺上執行容器,傳統的虛擬機器只能提供對硬體的模擬,要不然就是把對硬體資源的訪問隔離開來,好讓使用者執行客機作業系統,但是容器就不一樣了,容器從本質上說就是主機作業系統的一個程式,每個容器都有自己的一套檔案系統,也有自己的資源,但一臺主機上的所有容器都是執行在同一個Linux核心上的,這一點跟BSD jail和Solaris zone很像。


入門教程

這次釋出的Docker映象(現在還只是Beta版)跟QuickStart VM一樣,都包含了CDH,大家可以自己安裝Cloudera Manager免費版,當然也可以裝Cloudera Enterprise的60天試用版。大家可以設定Docker對映的埠,這裡我設的是主機的80埠,大家也可以這樣設定,然後在瀏覽器裡訪問這個埠,登進去以後應該可以看到映象裡面提供的詳細的教程,還有測試用的示例資料。


裝好Docker以後,執行下面的命令就可以下載映象然後跑容器了:

大家要是還有什麼問題的話,可以到Docker Hub上去找相關的文獻,另外映象也可以在Docker Hub上下載。


QuickStart Docker映象釋出以後,在傳統的桌面虛擬機器和基於AWS的demo叢集(Cloudera Live)之外,大家也可以選擇Docker映象來執行Apache Hadoop和Cloudera平臺,具體選哪個就看大家的需求了,總之就是選擇面更廣,使用者的自主空間更大。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31126106/viewspace-2089496/,如需轉載,請註明出處,否則將追究法律責任。

相關文章