CentOS和Ubuntu系統下安裝 HttpFS （助推Hue部署搭建）

weixin_34162629發表於2017-05-06
CentOSUbuntuHTTP

 

 

　

不多說，直接上乾貨！

　　我的叢集機器情況是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然後，安裝目錄是在/home/hadoop/app下。

 

　　官方建議在master機器上安裝Hue，我這裡也不例外。安裝在bigdatamaster機器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4
 需要編譯才能使用（聯網）


　說給大家的話：大家電腦的配置好的話，一定要安裝cloudera manager。畢竟是一家人的。
同時，我也親身經歷過，會有部分元件版本出現問題安裝起來要個大半天時間去排除，做好心裡準備。廢話不多說，因為我目前讀研，自己膝上型電腦最大8G，只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的！ 但我已經在實驗室機器群裡搭建好cloudera manager 以及 ambari都有。

大資料領域兩大最主流叢集管理工具Ambari和Cloudera Manger

Cloudera安裝搭建部署大資料叢集（圖文分五大步詳解）（博主強烈推薦）

Ambari安裝搭建部署大資料叢集（圖文分五大步詳解）（博主強烈推薦）

 

 

 

 

　　因為hadoop叢集中需要配置一個圖形化管理資料的截面，後來找到HUE，那麼在配置HUE的過程中，發現需要配置httpfs，因為配置了httpfs，hue才能去操作hdfs中的資料。

　　HttpFs能幹啥呢，它可以使你能在瀏覽器中管理HDFS上的檔案，例如在HUE中；它還提供了一套REST風格的API用來管理HDFS。

 

 

　　這是官網文件

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4/manual.html#_install_hue

 

 

 

 

一、CentOs系統下安裝HttpFS

 　　跟如下一樣

 

 

二、Ubuntu系統下安裝HttpFS

1 叢集環境

　　Ubuntu-14.10

　　openjdk-7

　　hadoop-2.6.0 HA(雙NN)

　　hue-3.9.0-cdh5.5.4

 

 

2 安裝

　　因為hadoop中自帶了httpfs所以，這裡不需要下載其他包，只需要進行一下配置

 

　　　　

　　在各個機器的$HADOOP_HOME/etc/hadoop/

<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>
　　注意：httpfs.proxyuser.hadoop.hosts第二個是啟動httpfs的使用者名稱




 　　同時，還要配置WebHdfs，別忘記啦！

　　在core-site.xml 和 hdfs-site.xml下，新增如下

 

 

　　core-site.xml下

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

 

 

 

 

 　　hdfs-site.xml下

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

 

 

 

 　　到此配置完畢，啟動httpfs，進入hadoop sbin下，執行

httpfs.sh start

　　啟動成功後jps會多一個Bootstrap 程式。

　　瀏覽器訪問http://localhost:14000/ 
　　頁面顯示：HttpFs service, service base URL at /webhdfs/v1. 根目錄為：/webhdfs/v1

 

 

 

 

參考

http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html

 

 

 

 

 

 

 

 

 

 

 

 

歡迎大家，加入我的微信公眾號：大資料躺過的坑        人工智慧躺過的坑
 
 
 

同時，大家可以關注我的個人部落格：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於網際網路和個人學習工作的精華乾貨知識，一切來於網際網路，反饋回網際網路。
　　目前研究領域：大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡，每天必須有收穫

 

      對應本平臺的討論和答疑QQ群：大資料和人工智慧躺過的坑（總群）（161156071） 

 

 

 

 

 

 

 

 

 

 

 

 

 

相關文章