Hive-1.1.0-cdh5.7.0安裝部署

13545163656發表於2018-06-03
HiveH5
前言：
    考慮到Apache元件的架包相容性問題，生產環境統一使用CDH、HDP
    選擇統一的cdh5.7.0尾號
        hadoop-2.6.0-cdh5.7.0.tar.gz
        hive-1.1.0-cdh5.7.0.tar.gz

    CDH元件下載地址：

風格介紹:
使用Apache元件,統一使用Hadoop使用者
[hadoop@hadoop001 ~]$ pwd
/home/hadoop
[hadoop@hadoop001 ~]$ ll
total 28
drwxr-xr-x. 5 hadoop hadoop 4096 Jun  1 22:32 app        -- 安裝路徑(/app/tmp/HDFS Kafka ZK 資料目錄)
drwxr-xr-x. 2 hadoop hadoop 4096 Jun  1 16:47 data        -- 測試資料存放路徑 
drwxr-xr-x. 2 hadoop hadoop 4096 Jun  1 16:48 lib            -- 存放相關開發jar
drwxr-xr-x. 2 hadoop hadoop 4096 Jun  1 16:48 maven_repo    -- maven 本地倉庫
drwxr-xr-x. 2 hadoop hadoop 4096 Jun  1 16:48 shell              -- shell指令碼
drwxr-xr-x. 2 hadoop hadoop 4096 Jun  1 22:30 software       -- 下載安裝包
drwxr-xr-x. 2 hadoop hadoop 4096 Jun  1 16:48 source         -- 存放原始碼

一、下載二進位制檔案包
[hadoop@hadoop001 software]$ wget hive-1.1.0-cdh5.6.1.tar.gz
[hadoop@hadoop001 software]$ tar -xzvf hive-1.1.0-cdh5.6.1.tar.gz 
[hadoop@hadoop001 software]$ mv hive-1.1.0-cdh5.6.1.tar.gz  ../app/hive-1.1.0

二、配置環境變數
  1. export HIVE_HOME=/home/hadoop/app/hive-1.1.0
  2. export PATH=$HIVE_HOME/bin:$PATH

三、修改配置引數
[hadoop@hadoop001 conf]$ pwd
/home/hadoop/app/hive-1.1.0/conf
[hadoop@hadoop001 conf]$ cp hive-env.sh.template hive-env.sh
[hadoop@hadoop001 conf]$ vim hive-env.sh

1.指向Hadoop路徑
  1. HADOOP_HOME=/home/hadoop/app/hadoop-2.8.1

2.建立hive-site.xml(配置後設資料的存放路徑)
[hadoop@hadoop001 conf]$ vim hive-site.xml

  1. <configuration>
  2.         <property>
  3.                 <name>javax.jdo.option.ConnectionURL</name>
  4.                 <value>jdbc:mysql://localhost:3306/hive_data?createDatabaseIfNotExist=true&amp;characterEncoding=latin1</value>
  5.         </property>

  7.         <property>
  8.                 <name>javax.jdo.option.ConnectionDriverName</name>
  9.                 <value>com.mysql.jdbc.Driver</value>
  10.         </property>

  12.         <property>
  13.                 <name>javax.jdo.option.ConnectionUserName</name>
  14.                 <value>root</value>
  15.         </property>

  17.         <property>
  18.                 <name>javax.jdo.option.ConnectionPassword</name>
  19.                 <value>root</value>
  20.         </property>
  21. </configuration>


3.匯入MySQLDriver到 $HIVE_HOME/lib
cp MySQLDriver $HIVE_HOME/lib


四、啟動Hive
[hadoop@hadoop001 bin]$ pwd
/home/hadoop/app/hive-1.1.0/bin
[hadoop@hadoop001 bin]$ hive  或者 ./hive
[hadoop@hadoop001 bin]$ hive
which: no hbase in (/home/hadoop/app/hive-1.1.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/local/protobuf/bin:/opt/software/findbugs-
Logging initialized using configuration in jar:file:/home/hadoop/app/hive-1.1.0/lib/hive-common-1.1.0-cdh5.7.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> 


五、檢查是否能建立資料庫及表
hive> create database hive_data;
OK
Time taken: 0.682 seconds
hive> create table test(in int,name string);
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)

MySQL進入hive_data資料庫字符集：
  1. ALTER DATABASE hive_data CHARACTER SET latin1
hive> create table test(in int,name string);
OK
Time taken: 0.81 seconds
hive> show tables;
OK
test
Time taken: 0.053 seconds, Fetched: 1 row(s)

六、Hive指向路徑修改
Hive中的資料存放在HDFS之上,相當於頂層資料夾;建立資料庫預設的路徑為/user/hive/warehouse下;
修改Hive預設存放路徑  $HIVE_HOME/conf/hive-site-xml

  1. -- 設定資料目錄
  2. <property>
  3. <name>hive.metastore.warehouse.dir</name>
  4. <value>/usr/local/hive/warehouse</value>
  5. </property>
  7. -- 設定臨時檔案目錄
  8. <poprerty>
  9. <name>hive.exec.scratdir</name>
  10. <value>/usr/local/hive/tmp</value>
  11. </property>
  13. -- hive相關日誌的目錄
  14. <property>
  15. <name>hive.querylog.location</name>
  16. <value>/usr/local/hive/log</value>
  17. </property>




來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2155546/，如需轉載，請註明出處，否則將追究法律責任。

相關文章