介紹
- 本質:構建了一個JavaWeb程式,將所有工具的客戶端封裝了,在配置檔案中配置每個工具的服務端地址
- 功能:實現統一化的終端訪問,來管理訪問大資料的多個框架/多個元件
- Impala
- Hive
- HDFS
- YARN
- MySQL
- SPark
- Solr
- 使用:配置【hue.ini】hue中各個服務端的地址即可
- HDFS:node-01:8020
- YARN:node-03:8088
- JobhistoryServer:node-02:19888
- 應用場景
- 我們在做專案時,都是基於命令列進行開發,封裝指令碼
- 專案做完了,偶爾要測試檢查資料,或者需要提供給資料分析師做分析
- Hue用於後期做視覺化訪問
- 工作環境
- 一般Hue會通過CM工具進行安裝
- Hue需要關聯Hadoop【HDFS HA】
- 如果HDFS做了HA,有兩個NameNode
- Hue是不知道誰是Active的
- 需要啟動HDFS的另外一個程式:HttpFS
- Hue會訪問httpFS提交HDFS的請求
安裝
- 必須編譯以後才能使用,官方沒有提供編譯好的安裝包
- 上傳安裝包到第一臺機器,解壓
cd /export/software
rz
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C /export/servers/
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel -y
java -version
rpm -qa | grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.1.el6_10.x86_64 java-1.7.0-openjdk-devel-1.7.0.261-2.6.22.1.el6_10.x86_64 java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 java_cup-0.10k-5.el6.x86_64
source /etc/profile
- 修改hue的配置檔案:$HUE_HOME/desktop/conf/hue.ini
secret_key=franksfkdjflkfjdlkfjlkdjfkldf
http_host=node-01
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
engine=mysql
host=node-03
port=3306
user=root
password=123456
name=hue
mysql -uroot -p
create database hue default character set utf8 default collate utf8_general_ci;
cd /export/servers/hue-3.9.0-cdh5.14.0
make apps
useradd hue
passwd hue
- 編譯成功的結果
- 如果你出現了ERROR:說明編譯失敗了
- 一般都是依賴不全導致的,請嘗試以下操作
- 解除安裝依賴
yum remove ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel -y
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel -y
build/env/bin/supervisor
node-01:8888
ctrl+c