Hadoop+hive環境搭建

CoderSunYu發表於2018-09-05
HadoopHive

一、準備

hive下載地址：mirror.bit.edu.cn/apache/hive…

二、Hadoop環境搭建

Hadoop安裝和配置，請看Hadoop單機版安裝

三、mysql安裝

因為Hive的預設後設資料是Mysql，所以先要安裝Mysql。

首先檢視mysql 是否已經安裝

rpm -qa | grep mysql
複製程式碼

如果已經安裝，想刪除的話

普通刪除命令:
rpm -e mysql
複製程式碼
強力刪除命令,依賴檔案也會刪除:
rpm -e --nodeps mysql  
複製程式碼

通過wget命令下載rpm安裝mysql

wget http://repo.mysql.com/mysql57-community-release-el7.rpm
複製程式碼

下載完成後，輸入

yum install mysql-server
複製程式碼

安裝成功後，systemctl start mariadb.service啟動服務

設定密碼，因為預設沒有密碼，直接回車即可

mysqladmin -u root -p password '123456'
複製程式碼

然後連線mysql

mysql -u root -p
複製程式碼

通過授權法更改遠端連線許可權

grant all privileges on *.* to 'root'@'%' identified by '123456';
# 重新整理
flush privileges;
複製程式碼

然後使用Navicat測試連線

Hadoop+hive環境搭建

四、Hive環境安裝和配置

1、下載

下載安裝包

wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.0/apache-hive-3.1.0-bin.tar.gz
複製程式碼

解壓安裝包

tar -xvf apache-hive-3.1.0-bin.tar.gz
複製程式碼

然後移動到/opt/hive 裡面，將資料夾重新命名為 hive3.1

mkdir /home/hive
mv  apache-hive-3.1.0-bin  /home/hive
mv apache-hive-3.1.0-bin hive3.1
複製程式碼

2、環境配置

編輯 /etc/profile 檔案

vim /etc/profile
複製程式碼

輸入

export HIVE_HOME=/home/hive/hive3.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HIVE_HOME}/bin:$PATH
複製程式碼

注:實際配置以自己的為準！

source  /etc/profile
複製程式碼

3、配置更改

4.3.1 新建資料夾

在修改配置檔案之前，需要先在root目錄下建立一些資料夾。

mkdir /root/hive
mkdir /root/hive/warehouse
複製程式碼

新建完該檔案之後，需要讓hadoop新建/root/hive/warehouse 和 /root/hive/ 目錄。 執行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse
複製程式碼

給剛才新建的目錄賦予讀寫許可權，執行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse 
複製程式碼

檢查這兩個目錄是否成功建立 輸入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/
複製程式碼

4.3.2 修改hive-site.xml

切換到 /home/hive/hive3.1/conf 目錄下

將hive-default.xml.template 拷貝一份，並重新命名為hive-site.xml 然後編輯hive-site.xml檔案

cp hive-default.xml.template hive-site.xml
vim hive-site.xml
複製程式碼

編輯hive-site.xml檔案，在 中修改:

<!-- 指定HDFS中的hive倉庫地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 該屬性為空表示嵌入模式或本地模式，否則為遠端模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的連線 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驅動類 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定使用者名稱 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密碼 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>
複製程式碼

然後將配置檔案中所有的${system:java.io.tmpdir}更改為 /home/hive/tmp (如果沒有該檔案則建立)，將 ${system:user.name}更改為 root

注：MySQL的連線地址中的master是主機的別名，可以換成ip。

4.3.3 修改 hive-env.sh

修改 hive-env.sh 檔案，沒有就複製 hive-env.sh.template ，並重新命名為 hive-env.sh

在配置檔案中新增

export  HADOOP_HOME=/home/hadoop/hadoop3.1
export  HIVE_CONF_DIR=/home/hive/hive3.1/conf
export  HIVE_AUX_JARS_PATH=/home/hive/hive3.1/lib
複製程式碼

4.3.4 新增 資料驅動包

由於Hive 預設自帶的資料庫是使用mysql，所以這塊就是用mysql

將mysql 的驅動包 上傳到 /home/hive/hive3.1/lib

wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
tar -xvf mysql-connector-java-5.1.47.tar.gz
cd mysql-connector-java-5.1.47
ls
build.xml  CHANGES  COPYING  mysql-connector-java-5.1.47-bin.jar  mysql-connector-java-5.1.47.jar  README  README.txt  src
複製程式碼

將mysql-connector-java-5.1.47.jar拷貝到/home/hive/hive3.1/lib目錄下

cp mysql-connector-java-5.1.47.jar /home/hive/hive3.1/lib
複製程式碼

五、Hive Shell 測試

在成功啟動Hadoop之後, 切換到Hive目錄下

cd /home/hive/hive3.1/bin
複製程式碼

首先初始化資料庫, 初始化的時候注意要將mysql啟動

schematool -dbType mysql -initSchema
複製程式碼

這時就啟動成功了

進入hive (確保hadoop以及成功啟動)

hive
複製程式碼

Hadoop+hive環境搭建
進入hive 之後

做一些簡單的操作

新建一個庫，然後在建一張表

基本操作和普通的關係型資料庫差不多

# 建立資料庫
create database db_hiveTest;
# 建立表
create  table  db_hiveTest.student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';
複製程式碼

Hadoop+hive環境搭建
說明: terminated by ‘\t’ 表示文字分隔符要使用Tab，行與行直接不能有空格。

新開啟一個視窗， 因為hive 不支援寫，所以新增資料使用load載入文字獲取。

touch  /home/hive/student.txt
vim /home/hive/student.txt
複製程式碼

新增資料

1001	zhangsan
1002	lisi
1003	wangwu
1004	zhaoliu
複製程式碼

切換到hive shell

# 載入資料
load data local inpath '/home/hive/student.txt'  into table db_hivetest.student;
# 查詢資料
select * from db_hiveTest.student;
複製程式碼

Hadoop+hive環境搭建

啟動時遇到的錯誤

  • 非法字元
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
 at [row,col,system-id]: [3254,96,"file:/home/hive/hive3.1/conf/hive-site.xml"]
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3003)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2931)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2806)
	at org.apache.hadoop.conf.Configuration.get(Configuration.java:1460)
	at org.apache.hadoop.hive.conf.HiveConf.getVar(HiveConf.java:4990)
	at org.apache.hadoop.hive.conf.HiveConf.getVar(HiveConf.java:5063)
	at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5150)
複製程式碼

原因是3254,96,"file:/home/hive/hive3.1/conf/hive-site.xml"位置有非法字元

Hadoop+hive環境搭建
刪除紅色方框內&#8即可

  • 密碼錯誤
[root@hive bin]# schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/hive3.1/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop-3.0.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://10.2.18.91:3306/hive?createDatabaseIfNotExist=true
Metastore Connection Driver :	 com.mysql.jdbc.Driver
Metastore connection User:	 root
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
Underlying cause: java.sql.SQLException : Access denied for user 'root'@'hive' (using password: YES)
SQL Error code: 1045
Use --verbose for detailed stacktrace.
*** schemaTool failed ***
複製程式碼

這個錯誤是因為mysql連線不上，其實就是密碼錯誤了，檢視mysql.user表

select * from mysql.user;
複製程式碼

發現host=hive的賬號沒有設定密碼，只要給這個host設定我們配置的密碼就ok了

set password for root@hive = password('123456');  
複製程式碼

設定好密碼後，再啟動schematool -dbType mysql -initSchema

相關文章