Hue3.9 搭建整合【HDFS】【Hive】
執行環境:
-
CentOS 6.5
-
hadoop-2.6.0-cdh5.7.0
-
hadoop-2.6.0-cdh5.7.0
-
hive-1.1.0-cdh5.7.0
-
hue-3.9.0-cdh5.7.0
-
sqoop-1.4.6-cdh5.7.0
Hue:
官網地址:
官網安裝說明:
官網github地址:
Hue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社群,它是基於Python Web框架Django實現的。透過使用Hue我們可以在瀏覽器端的Web控制檯上與Hadoop叢集進行互動來分析處理資料,例如操作HDFS上的資料,執行MapReduce Job,Hive
等等
支援功能:
-
資料庫查詢編輯器,支援 Hive, Impala, MySql, PostGres, Sqlite and Oracle
-
動態查詢儀表盤,支援 Solr
-
支援 Spark 編輯器和儀表盤
-
瀏覽器檢視狀態,支援 YARN, HDFS, Hive table Metastore, HBase, ZooKeeper
-
支援 Pig Editor, Sqoop2, Oozie workflows 編輯器和儀表盤
-
將資料匯入hdfs
1.CentOS6.5依賴環境:
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
2.下載CDH5.7.0平臺Hue:
wget
3.環境變數配置:
vim /.bash_profile export HUE_HOME=/home/hadoop/app/hue-3.9.0 export PATH=$HUE_HOME/bin:$PATH source ~/.bash_profile
4.編譯原始碼(Hue3.9)
tar -xzvf hue-3.9.0-cdh5.7.0.tar.gz -C ~/app/ -- 檢查解壓後的使用者和使用者組 cd hue-3.9.0 make apps
編譯過程需要下很多模組和包,所以根據你的網速可能會需要編譯很久。
最後出現xxx post-processed說明編譯成功
1190 static files copied to '/home/hadoop/app/hue-3.9.0/build/static', 1190 post-processed. make[1]: Leaving directory `/home/hadoop/app/hue-3.9.0/apps'
5.Hue配置全域性檔案( $HUE_HOME/desktop/conf/hue.ini)
[desktop] secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o http_host=hadoop001 time_zone=Asia/Shanghai
6.Hue整合Hadoop( $HADOOP_HOME/etc/hadoop )
hdfs-site.xml <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> core-site.xml <property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hue.groups</name> <value>*</value> </property> httpfs-site.xml <property> <name>httpfs.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>httpfs.proxyuser.hue.groups</name> <value>*</value> </property>
6.1 Hue整合Hadoop( $HUE_HOME/desktop/conf/hue.ini )
[hadoop] # Configuration for HDFS NameNode # ------------------------------------------------------------------------ [[hdfs_clusters]] # HA support by using HttpFs [[[default]]] # Enter the filesystem uri fs_defaultfs=hdfs://localhost:8020 # NameNode logical name. ## logical_name= # Use WebHdfs/HttpFs as the communication mechanism. # Domain should be the NameNode or HttpFs host. # Default port is 14000 for HttpFs. webhdfs_url= -- 取消註釋
7.Hue整合Hive( $HIVE_HOME/conf/hive-site.xml )
<property> <name>hive.server2.thrift.bind.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>hadoop001</value> </property> <property> <name>hive.server2.long.polling.timeout</name> <value>5000</value> </property> <property> <name>hive.server2.authentication</name> <value>NOSASL</value> </property>
7.1.Hue整合Hive( $HUE_HOME/desktop/conf/hue.ini )
[beeswax] # Host where HiveServer2 is running. # If Kerberos security is enabled, use fully-qualified domain name (FQDN). hive_server_host=hadoop001 # Port where HiveServer2 Thrift server runs on. hive_server_port=10000 # Hive configuration directory, where hive-site.xml is located hive_conf_dir=/home/hadoop/app/apache-hive-2.2.0-bin/conf
8.啟動Hue
-- 先啟動Hive [hadoop@hadoop001 bin]$ ./hiveserver2 --hiveconf hive.server2.thrift.port=10000 -- 啟動hue服務 [hadoop@hadoop001 hue-3.9.0]$ build/env/bin/supervisor
9.訪問Hue操作hive
由於初次建立的使用者admin使用者 只能許可權操作HDFS上/user/admin/* 目錄
如果要操作/user/hadoop/目錄,hue必須建立hadoop使用者操作;
遇到的許可權報錯:
Note: you are a Hue admin but not a HDFS superuser, "hadoop" or part of HDFS supergroup, "supergroup".
解決辦法:
# This should be the hadoop cluster admin default_hdfs_superuser=hadoop -- HDFS 修改為 hadoop
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31441024/viewspace-2168672/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Spark整合hiveSparkHive
- Hive篇--搭建Hive叢集Hive
- ClickHouse-整合引擎(MySQL、HDFS)MySql
- Hive環境搭建Hive
- hadoop 2.0 hdfs HA 搭建Hadoop
- HDFS分散式叢集搭建分散式
- hive 2.3.4環境搭建Hive
- Alluxio+HDFS+MapReduce整合及測試UX
- HDFS+MapReduce+Hive+HBase十分鐘快速入門Hive
- Atlas 2.1.0 實踐(3)—— Atlas整合HIveHive
- MySql安裝及整合Hive手冊MySqlHive
- Hadoop hdfs完全分散式搭建教程Hadoop分散式
- 使用Presto查詢hive表資料時報"Error opening Hive split hdfs"問題,及解決方法RESTHiveError
- 使用docker快速搭建hive環境DockerHive
- Hadoop+hive環境搭建HadoopHive
- 搭建Hive所遇過的坑Hive
- 使用java操作ranger,hdfs ranger授權操作,hive ranger授權操作JavaRangerHive
- 高可用Hadoop平臺-整合Hive HAProxyHadoopHive
- Apache Hive-2.3.0 快速搭建與使用ApacheHive
- windows下Hive搭建踩坑彙總WindowsHive
- ClickHouse(19)ClickHouse整合Hive表引擎詳細解析Hive
- SSM整合之CRUD環境搭建整合SSM
- 大資料4.1 - Flume整合案例+Hive資料倉大資料Hive
- Hadoop HDFS 3.3.1分散式儲存搭建Hadoop分散式
- (一)hadoop叢集搭建——1.4hdfs的操作Hadoop
- flume-ng+Kafka+Storm+HDFS 實時系統搭建KafkaORM
- 快速整合搭建SSM框架SSM框架
- Hive學習之七《 Sqoop import 從關聯式資料庫抽取到HDFS》HiveOOPImport資料庫
- 開源大資料叢集部署(十二)Ranger 整合 hive大資料RangerHive
- docker下,極速搭建spark叢集(含hdfs叢集)DockerSpark
- hadoop3.1.0 HDFS快速搭建偽分散式環境Hadoop分散式
- hadoop之旅7-centerOS7 : Hive環境搭建HadoopROSHive
- Hadoop2.7.3+Hive2.1.1+Spark2.1.0環境搭建HadoopHiveSpark
- HIVE隨手記——Hive命令(?$HIVE_HOME/bin/hive)Hive
- 整合github、hexo搭建部落格GithubHexo
- spring 整合dubbo 測試搭建Spring
- ETL資料整合丨PostgreSQL資料遷移至Hive資料庫SQLHive資料庫
- hadoop之旅5-idea通過maven搭建hdfs環境HadoopIdeaMaven