透過Docker快速部署啟動Apache Hadoop及Cloudera
本文來源:Ghostcloud原創
玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能還不知道,Docker也可以作為快速啟動項來部署啟動Apache Hadoop和Cloudera,而且速度要比其他啟動方式更快。
說到QuickStart VM,大家可能都很熟了,從本質上來說QuickStart VM就是一個包含了分散式資料處理平臺的虛擬映象。一開始的時候QuickStart VM只是一個demo環境,但後來發展得很火,用途也變得非常廣,不管是開發人員,客戶,還是合作企業,很多都在用QuickStart VM。我總結了一下,現在QuickStart VM的用途主要是在這幾個方面:
·方便使用者試執行CDH,並瞭解CDH的新功能、新元件
·因為可以很方便地部署Hadoop,所以經常被新手拿來練手
·用來做持續整合、API測試等等
·使用者有新想法或者新應用的時候,可以用QuickStart VM做模擬執行環境
·使用者可以把自己的軟體部署在QuickStart VM裡面進行演示
QuickStart VM包括VMware、VirtualBox、KVM(這個可以作為磁碟映象來用)幾個類別,當然還有其他一些格式,這幾種虛擬化平臺都是早就開放給大家使用了。不過隨著Docker之類的容器技術越來越火,很多運維人員都開始嘗試用新技術來替代傳統的VM映象,讓應用的部署更簡便。
在這種情況下,Cloudera QuickStart Docker映象就應運而生了。對於Docker使用者來說,這個映象是非常輕量的,而且用起來也很方便,不用的時候可以隨時銷燬,不管是用於技術學習也好,用來實現產品創意也好,還是做規模測試前期的持續整合也好,Cloudera QuickStart Docker映象都是很好用的(但是在投入產品環境之前,最好還是先放到一個更貼近真實情況的測試環境裡面跑一下)。
Docker跟傳統的虛擬化平臺還是有很多不一樣的地方,比方說,Docker可以在Linux平臺上執行容器,傳統的虛擬機器只能提供對硬體的模擬,要不然就是把對硬體資源的訪問隔離開來,好讓使用者執行客機作業系統,但是容器就不一樣了,容器從本質上說就是主機作業系統的一個程式,每個容器都有自己的一套檔案系統,也有自己的資源,但一臺主機上的所有容器都是執行在同一個Linux核心上的,這一點跟BSD jail和Solaris zone很像。
入門教程
這次釋出的Docker映象(現在還只是Beta版)跟QuickStart VM一樣,都包含了CDH,大家可以自己安裝Cloudera Manager免費版,當然也可以裝Cloudera Enterprise的60天試用版。大家可以設定Docker對映的埠,這裡我設的是主機的80埠,大家也可以這樣設定,然後在瀏覽器裡訪問這個埠,登進去以後應該可以看到映象裡面提供的詳細的教程,還有測試用的示例資料。
裝好Docker以後,執行下面的命令就可以下載映象然後跑容器了:
大家要是還有什麼問題的話,可以到Docker Hub上去找相關的文獻,另外映象也可以在Docker Hub上下載。
QuickStart Docker映象釋出以後,在傳統的桌面虛擬機器和基於AWS的demo叢集(Cloudera Live)之外,大家也可以選擇Docker映象來執行Apache Hadoop和Cloudera平臺,具體選哪個就看大家的需求了,總之就是選擇面更廣,使用者的自主空間更大。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31126106/viewspace-2089496/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Apache Hadoop管理認證培訓(Cloudera)ApacheHadoopCloud
- 透過skaffold快速部署微服務微服務
- Cloudera Certified Administrator for Apache Hadoop(CCAH認證)CloudApacheHadoop
- 透過Docker啟動Solace,並在Spring Boot透過JMS整合SolaceDockerSpring Boot
- Docker Linux快速安裝及Nginx部署DockerLinuxNginx
- 在玩客雲上透過docker部署transmissionDocker
- Docker - 透過IDEA和Dockerfile部署springbDockerIdeaSpring
- Docker快速部署NacosDocker
- 透過ssh工具啟動VNC,Windows系統如何透過ssh工具啟動VNCVNCWindows
- webapi透過docker部署到Linux的兩種方式WebAPIDockerLinux
- 在玩客雲(armbian)上透過docker部署jellyfinDocker
- Cloudera CDH 、Impala本地透過Parcel安裝配置詳解Cloud
- 快速部署-01-dockerDocker
- 使用docker部署hadoop叢集DockerHadoop
- Cloudera hadoop認證總結CloudHadoop
- 透過Docker Compose部署GitLab和GitLab Runner(一)DockerGitlab
- 建立本地yum軟體源,為本地Package安裝Cloudera Manager、Cloudera Hadoop及Impala做準備PackageCloudHadoop
- docker一鍵部署hadoop心得(二)DockerHadoop
- 在玩客雲上透過docker部署zabbix(PostgreSQL資料庫)DockerSQL資料庫
- docker快速部署DNS,實現快速上線DockerDNS
- 通過docker部署lnmpDockerLNMP
- 【MySQL】 在Docker中快速部署PXCMySqlDocker
- 使用Docker快速部署開源商城Docker
- 『中級篇』在docker-swarm叢集裡透過serivce部署worDockerSwarm
- Hadoop將死?Cloudera CEO怒懟GartnerHadoopCloud
- Apache安裝部署及工作模式Apache模式
- 透過Cloudera最高階別認證,再迎創新里程碑!Cloud
- Apache APISIX透過頁面配置路由ApacheAPI路由
- 使用 Docker Compose 快速啟動 RabbitMQ 伺服器DockerMQ伺服器
- 透過 Docker 化一個部落格網站來開啟我們的 Docker 之旅Docker網站
- 透過示例程式碼介紹Docker部署Mysql叢集的實現DockerMySql
- Hadoop哪家強?Hortonworks、Cloudera、MapR案例集錦HadoopCloud
- cloudera learning7:Hadoop資源管理CloudHadoop
- 透過http請求啟動jenkins任務HTTPJenkins
- Linux如何透過命令重新啟動服務?Linux
- Hive1.2.1 啟動報錯 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServerHiveExceptionApacheHadoopServer
- Manico for Mac APP快速啟動及切換神器MacAPP
- Mac APP快速啟動及切換神器:ManicoMacAPP