hive的安裝(包括mysql)
1.Hive簡介
1.1在hadoop生態圈中屬於資料倉儲的角色。他能夠管理hadoop中的資料,同時可以查詢hadoop中的資料。
本質上講,hive是一個SQL解析引擎。Hive可以把SQL查詢轉換為MapReduce中的job來執行。
hive有一套對映工具,可以把SQL轉換為MapReduce中的job,可以把SQL中的表、欄位轉換為HDFS中的檔案(夾)以及檔案中的列。
這套對映工具稱之為metastore,一般存放在derby、mysql中。
1.2 hive在hdfs中的預設位置是/user/hive/warehouse,是由配置檔案hive-conf.xml中屬性hive.metastore.warehouse.dir決定的。
2.hive的安裝
(1)解壓縮、重新命名、設定環境變數
(2)在目錄$HIVE_HOME/conf/下,執行命令mv hive-default.xml.template hive-site.xml重新命名
在目錄$HIVE_HOME/conf/下,執行命令mv hive-env.sh.template hive-env.sh重新命名
(3)修改hadoop的配置檔案hadoop-env.sh,修改內容如下:
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
(4)在目錄$HIVE_HOME/bin下面,修改檔案hive-config.sh,增加以下內容:
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
3.安裝mysql(server端和client端)
(1)刪除linux上已經安裝的mysql相關庫資訊。rpm -e xxxxxxx --nodeps執行命令rpm -qa |grep mysql 檢查是否刪除乾淨
(2)執行命令 rpm -i mysql-server-******** 安裝mysql服務端
(3)啟動mysql 服務端,執行命令 mysqld_safe &
(4)執行命令 rpm -i mysql-client-******** 安裝mysql客戶端
(5)執行命令mysql_secure_installation設定root使用者密碼
(6)預設情況下,mysql是不允許hive連線的,要在mysql的客戶端授權,命令是:grant all on hive.* to ‘root’@’%’ identified by ‘你的密碼’; ,再重新整理下,命令:flush privileges;
4. 使用mysql作為hive的metastore
(1)把mysql的jdbc驅動放置到hive的lib目錄下(因為hive要連線mysql)
(2)修改hive-site.xml檔案,修改內容如下:
<property>
<name>javax.jdo.option.ConnectionURL</name>
//在mysql中對應的資料庫的名稱
<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>admin</value>
</property>
相關文章
- MySql安裝及整合Hive手冊MySqlHive
- Hive的安裝Hive
- hive的安裝(後設資料庫: MySQL)Hive資料庫MySql
- Hive -------- 使用mysql儲存hive後設資料,Mysql的安裝以及配置步驟HiveMySql
- Hive學習之Hive的安裝Hive
- Hive安裝Hive
- Hive的安裝部署Hive
- HIVE的安裝配置Hive
- Hive學習之二 《Hive的安裝之自定義mysql資料庫》HiveMySql資料庫
- hadoop上安裝hive2.3.2學習總結—hive安裝+mysql以及碰到坑點HadoopHiveMySql
- 【Hive一】Hive安裝及配置Hive
- Hive的安裝與配置Hive
- Hive安裝配置Hive
- Hive 3.1.2安裝部署Hive
- Hive安裝手冊Hive
- hive-0.13安裝Hive
- Hive(八)安裝部署Hive
- Hive學習之一 《Hive的介紹和安裝》Hive
- 安裝和體驗hiveHive
- ubuntu 安裝hive2.3.0UbuntuHive
- hive在centos上安裝HiveCentOS
- hadoop+hive+hbase 的安裝配置HadoopHive
- Hive安裝(本地獨立模式,MySql為後設資料庫)Hive模式MySql資料庫
- Hive1.2.1安裝筆記Hive筆記
- Hive遠端模式安裝配置Hive模式
- 數倉小組作業(一)Mac 安裝JDK、Mysql、Hadoop、HiveMacJDKMySqlHadoopHive
- MySQL 的安裝MySql
- mysql的安裝MySql
- SOLARIS下的Package安裝(包括直接網上安裝,類似linux的YUM)PackageLinux
- HIVE之 Sqoop 1.4.6 安裝、hive與oracle表互導HiveOOPOracle
- Centos7安裝配置Hive教程。CentOSHive
- Hive-1.1.0-cdh5.7.0安裝部署HiveH5
- mysql安裝 (yum 安裝)MySql
- Mysql的安裝教程MySql
- Hive從概念到安裝使用總結Hive
- CentOs下 SVN版本控制的安裝(包括yum與非yum)CentOS
- mysql安裝教程8.0.26 安裝mysql的步驟和方法MySql
- mysql 安裝MySql