1.2 Impala優勢

回顧前⾯⼤資料課程路線其實就是⼀個⼤資料從業者⾯對的⼤資料相關技術發展的過程，

• 技術發展以及更新換代的原因就是⽼的技術架構遇到新的問題，有些問題可以通過不斷優化程式碼優化設計得以解決，有⼀些問題就不再是簡簡單單修改程式碼就能解決，需要從框架本身架構設計上改 變，以⾄於需要推到重建。
• 在⼤資料領域主要解決的問題是資料的儲存和分析，但是其實⼀個完整的⼤資料分析任務如果細分 會有⾮常多具體的場景，⾮常多的環節；並沒有⼀個類似Java Web的Spring框架實現⼤⼀統的局⾯。

⽐如我們按照階段劃分⼀個⼤資料開發任務，會有：資料採集(⽇志⽂件，關係型資料庫中)，資料清洗 (資料格式整理，髒資料過濾等)，資料預處理(為了後續分析所做的⼯作)，資料分析：離線處理(T+1分析)，實時處理(資料到來即分析)，資料視覺化，機器學習，深度學習等

⾯對如此眾多的階段再加上⼤資料天⽣的⼤資料量問題沒有任何⼀個框架可以完美cover以上每個階 段。所以⼤資料領域有⾮常多框架，每個框架都有最適合⾃⼰的具體場景。⽐如：HDFS負責⼤資料量儲存，MapReduce（Hive）負責⼤資料量的分析計算，

Impala 拋棄了 MapReduce 使⽤了類似於傳統的 MPP 資料庫技術 ，⼤⼤提⾼了查詢的速度。

 

Impala的技術優勢

 

rpm⽅式安裝:需要⾃⼰管理rpm包的依賴關係；⾮常麻煩；解決依賴關係使⽤yum；預設Yum源是沒有 Impala的rpm安裝包，所以我們⾃⼰準備好所有的Impala安裝所需的rpm包，製作Yum本地源，配置 Yum命令去到我們準備的Yun源中下載Impala的rpm包進⾏安裝

本地Yum源⽅式

具體制作步驟

1. Linux121安裝Httpd伺服器

#yum ⽅式安裝 httpd 伺服器

yum install httpd -y

# 啟動 httpd 伺服器

systemctl start httpd

# 驗證 httpd ⼯作是否正常 , 預設端⼝是 80 ，可以省略

http://linux121

2.httpd預設存放⻚⾯路徑

/var/www/html/

注：後續可以把下載的rpm包解壓放置到此處便可以供⼤家訪問。

3. 下載Impala安裝所需rpm包

Impala所需安裝包需要到Cloudera提供地址下載

http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.6/cdh5.7.6- centos7.tar.gz

移動該安裝包到/opt/lagou/software

解壓縮

tar -zxvf cdh5.7.6-centos7.tar.gz

 

4. 使⽤Httpd盛放依賴包

建立軟連結到 /var/www/html 下

 

ln -s /opt/lagou/software/cdh/5.7.6 /var/www/html/cdh57

驗證

http://linux121/cdh57/

如果提示403 forbidden

vim /etc/selinux/config

5. 修改Yum源配置⽂件

cd /etc/yum.repos.d

# 建立⼀個新的配置⽂件

vim local.repo

 

# 新增如下內容

[local]

name = local

baseurl = http://linux121/cdh57/

gpgcheck = 0

enabled = 1

• name:對於當前源的描述

• baseurl:訪問當前源的地址資訊

• gpgcheck: 1 0,gpg校驗

• enabled:1/0,是否使⽤當前源

6. 分發local.repo⽂件到其它節點

rsync-script local.repo

rsync-script是自定義的分發函式

1.yum install -y rsync

2.cd /usr/local/bin

3.vi rsync-script

寫入,注意迴圈使用自己的hostname

#!/bin/bash

paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi

p1=$1
file_name=`basename $p1`
echo fname=$file_name

pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

user=`whoami`
for((host=1; host<4; host++)); do
echo ------------------- linux12$host--------------
 rsync -rvl $pdir/$file_name $user@linux12$host:$pdir
done

4.chmod 777 rsync-script

2.2 安裝Impala

2.2.1 叢集規劃

服務名稱	linux121	linux122	linux123
impala-catalogd	不安裝	不安裝	安裝
impala-statestored	不安裝	不安裝	安裝
impala-server	安裝	安裝	安裝

impala-server:這個程式是Impala真正⼯作的程式，官⽅建議把impala-server安裝在datanode節點， 更靠近資料（短路讀取）,程式名impalad

impala-statestored:健康監控⻆⾊，主要監控impala-server,impala-server出現異常時告知給其它 impala-server;程式名叫做statestored

impala-catalogd :管理和維護後設資料(Hive),impala更新操作；把impala-server更新的後設資料通知給其 它impala-server,程式名catalogd

配置Impala

1. 修改hive-site.xml

vim hive-site.xml

<!-- 指定 metastore 地址，之前新增過可以不⽤新增 -- >

<property>

<name>hive.metastore.uris</name>

<value>thrift://linux121:9083,thrift://linux123:9083</value>

</property>

<property>

<name>hive.metastore.client.socket.timeout</name>

<value>3600</value>  

</property>

2. 分發Hive安裝包到叢集節點

rsync-script hive-site.xml

3. Linux123啟動metastore服務

nohup hive --service metastore &

啟動hiveserver2服務 

nohup hive --service hiveserver2 &

4. 修改HDFS叢集hdfs-site.xml

配置 HDFS 叢集的短路讀取

 

什麼是短路讀取？

在HDFS中通過DataNode來讀取資料。但是，當客戶端向DataNode請求讀取⽂件時，DataNode 就會從磁碟讀取該⽂件並通過TCP socket將資料傳送到客戶端。所謂“短路”是指Client客戶端直接讀取⽂件。很明顯，這種情況只在客戶端與資料放在同⼀地點（譯者注：同⼀主機）時才有可能發 ⽣。短路讀對於許多應⽤程式會帶來重⼤的效能提升。

短路讀取：就是Client與DataNode屬於同⼀節點，⽆需再經過⽹絡傳輸資料，直接本地讀取。

要配置短路本地讀，需要驗證本機Hadoop是否有libhadoop.so;

進⼊⼀下⽬錄：

• cd $HADOOP_HOME/lib/native 
• 

短路讀取配置步驟

1. 建立短路讀取本地中轉站

# 所有節點建立⼀下⽬錄

mkdir -p /var/lib/hadoop-hdfs

#如果已經存在，更換使用者許可權，不然datanode可能不能正常啟動

chown -R root:root /var/lib/hadoop-hdfs/
 

 2. 修改hdfs-site.xml

<!-- 新增如下內容 -->

<!-- 開啟短路讀取開關 -->

<!-- 開啟短路讀取配置 -->

<property>

<name> dfs.client.read.shortcircuit </name>

<value> true </value>

</property>

<!-- 這是⼀個 UNIX 域套接字的路徑，將⽤於 DataNode 和本地 HDFS 客戶機之間的通訊 -->

<property>

<name> dfs.domain.socket.path </name>

<value> /var/lib/hadoop-hdfs/dn_socket </value>

</property>

<!--block 儲存後設資料資訊開發開關 -->

<property>

<name> dfs.datanode.hdfs-blocks-metadata.enabled </name>

<value> true </value>

</property>

<property>

<name> dfs.client.file-block-storage-locations.timeout </name>

<value> 30000 </value>

</property>

注：分發到叢集其它節點。重啟Hadoop叢集。

# 停⽌叢集

stop-dfs.sh

start-dfs.sh

# 啟動叢集

start-dfs.sh

start-yarn.sh

3. Impala具體配置

引⽤HDFS，Hive配置，使⽤Yum⽅式安裝impala預設的Impala配置⽂件⽬錄為 /etc/impala/conf，Impala的使⽤要依賴 Hadoop，Hive框架，所以需要把Hdfs,Hive的配置⽂件告知Impala。

執⾏以下命令把Hdfs，Hive的配置⽂件軟連結到/etc/impala/conf下

ln -s /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml

ln -s /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml

ln -s /opt/lagou/servers/hive-2.3.7/conf/hive-site.xml /etc/impala/conf/hive-site.xml