跟我一起hadoop（2）——CDH

skyme發表於2016-05-04
Hadoop

前邊已經介紹了一種hadoop的安裝工具，但是HDP動態新增節點會有一些問題，而且現在用的人好像不是很多，如果想用官方更多的，可以選擇HDP，如果想使用更方便一些，可以選擇CDH。

安裝HDP可以參考：

使用HDP快速搭建Hadoop開發環境

http://www.debugo.com/hdp-dev-setup/

下面介紹CDH的幾種安裝方式。

CDH安裝有四種方式

  • Cloudera manager
  • Tarball
  • Yum
  • Rpm

其中Yum及Rpm安裝可以算作一種安裝方式

下面是四種方式分別介紹：

  • Cloudera manager 安裝
Cloudera Manager和CDH4.1的安裝

Cloudera Manager的安裝需要先修改機器的三個配置：
關閉防火牆：service iptables stop；
關閉selinux：setenforce 0或修改/etc/selinux/config：SELINUX=disabled；
配置代理：在/etc/yum.conf加入如下內容：http_proxy=http://server:port。
最好在/etc/yum.conf增加timeout時間，timeout=55555。自己設定長點就行。
準備安裝檔案cloudera-manager-installer.bin，這是個二進位制檔案，下載地址：https://ccp.cloudera.com/display … a+Manager+Downloads，這個要在64位的機器上執行，我讓它執行在CentOS-6.2，x86_64上。然後設定下執行許可權，chmod u+x cloudera-manager-installer.bin，接著就直接執行它./ cloudera-manager-installer.bin。這裡有個問題，在我自己的虛擬機器上一直執行不了，出現的問題：cannot execute binary file，可能因為它是32位的吧。

在整個安裝過程中，要確保你的機器能夠聯網，會出現讓你選擇的畫面，一般就ENTER，next，accpet就行了，然後慢慢等待等到它自行安裝結束。
啟動cloudera manager：在瀏覽器輸入你的主機，我的是http:192.168.20.195:7180。註冊一個賬號登陸如（admin，admin），進去後，會讓我們選擇主機，我就裝了偽分散式，然後安裝CDH4.1和impala，這個安裝過程時間比較長，因為它是外國的網站，網路穩定與否對安裝的影響很大，我裝這個花費很長時間，期間如果出現某個安裝包錯誤，就必須重新開始安裝，因此強調下，最好使用一個乾淨的系統（沒裝過hadoop相關程式），它會去網上下載很多rpm包，預設地把hadoop，hbase，zookeeper，hive，impala等都裝到了user/lib底下，耐心等待吧。
安裝好了之後，我們就可以啟動自己需要的服務，當然某些服務彼此會有依賴，沒關係的cloudera manager太強大了，它能幫你識別，幫助你開啟相關服務。我開啟的服務介面如下圖所示：
153958jq4kbdf6owzofhqz.png 
在開啟服務的過程中，其他的服務都正常開啟了，但是最關鍵的我需要的服務卻一直顯示不良狀態，如下圖：
154050a2h9t9vv2wbw0rho.png 
Impala沒正常啟動，這是我這次研究的重中之重。出現問題，就開始找問題，後來發現是impala和資料庫（我用的是mysql）沒連線成功。下面著重講述下配置mysql連線impala。
  Impala的執行需要有配置了Mysql或PostgreSQL的hive metastore，hive本身支援的derby資料庫，impala不支援。
  一、配置遠端資料庫作為Hive Mestastore。
A:安裝MySQL JDBC聯結器，從’http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz下載聯結器，並把解壓後的mysql-connector-java-5.1.22-bin.jar檔案拷貝至/usr/lib/hive/lib下。
B:MySQL管理員需要用hive-schema-0.9.0.mysql.sql來建立初始資料庫：

 mysql –u root –p

mysql > CREATE DATABASE hivemetastoredb;

mysql > USE hivemetastoredb;

mysql > SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/

hive-schema-0.9.0.mysql.sql;

mysql > CREATE USER ‘hive’@’%’ IDENTIFIED BY ‘hive’;

mysql > CREATE ALL PRIVILEGES ON hivemetastoredb.* TO ‘hive’@’%’ WITH GRANT OPTION;

mysql > FLUSH PRIVILEGES;

mysql > QUIT;

C:配置mysql用utf8作為預設的字元編碼。

$ vim /etc/my.cnf

在[mysqld]下加入

Default-character-set=utf8

這是因為，impala去連線mysql時所用到的連線字串為：URL=”jdbc:mysql://localhost:3306/hivemetastoredb?useUnicode=true&characterEncoding=UTF-8”，它預設用的就是utf8。

二、新增Impala服務

進入cloudera manager管理介面，新增impala服務，點選impala，點選配置，可看到如下介面：

154245svdfow1hy4vyzivv.png 

在這個配置裡面，需要配置如下引數：

Property Value
DataNode Local Path Access Users dfs.block.local-path-access.user impala
DataNode Data Directory Permissions dfs.datanode.data.dir.perm 755
Enable HDFS Block Metadata API dfs.datanode.hdfs-blocks-metadata.enabled true
Enable HDFS Short Circuit Read dfs.client.read.shortcircuit true

Hive Metastore的配置如上圖所示，資料庫連線密碼：hive。
三、配置好impala後，點選重新啟動impala。啟動成功後可以看到如下介面：
154542aqq0s6aa7yqaqgbc.png 
兩個服務都完成，才算impala啟動成功。
配置Hue Beeswax連線到Impala。
這個配置是為了讓Hue Beeswax網站介面來執行Impala語句。修改/etc/hue/hue.ini，如下內容：

[beeswax]

beeswax_server_host=192.168.20.195

beeswax_server_port=8003

重啟Hue服務。至此，impala這個服務也算是正常啟動了。

最後說明一下，這次配置遇到的問題及解決方法。

問題一：無法安裝hadoop-hdfs包。

如下圖所示： 

154627itkkkts5bsnes5js.png 

    圖中說明的錯誤是：事務驗證出錯，後面的資訊顯示了是版本衝突問題。也就是說，本來電腦裡面已經有裝了hadoop-1.0.3現在和cloudera的hadoop-hdfs-2.0.0衝突，導致hadoo-hdfs無法安裝，也就使得安裝失敗，又得重新來一次了，悲劇啊。

    解決問題，我找到了系統裡安裝hadoop-1.0.3的所有包，然後把它們全部刪掉，包括安裝的目錄。

$ rpm –qa | grep –i hadoop-1.0.3

hadoop-1.0.3+20.38283-1.el6.x86_64

$ rpm –ql hadoop-1.0.3+20.38283-1.el6.x86_64(查詢安裝的位置)

$ rpm –e hadoop-1.0.3+20.38283-1.el6.x86_64(解除安裝)

解除安裝過程中，可能會有包依賴，沒關係，繼續按照上述方法把他們全部刪光，重新安裝就行啦。

問題二：啟動impala時，impala daemon無法啟動，檢視日誌出現如下問題。

154723mjhvijlv6liwtiou.png 

這個問題，說是連線到mysql被禁止，但是我用java自己做了個程式去連線mysql沒有問題，很奇怪，

javax.jdo.JDOFatalDataStoreException: Access denied for user ‘hive’@’localhost’ (using password: YES)，最主要是這句話，我本來連線資料庫是，用root登入mysql建立了個新使用者hive，然後不使用密碼，同時在impala中的配置目錄裡，預設資料庫使用者hive登入也是不需要密碼的，但是卻始終連不上，後來經過分析這句話，using password：YES，也就是說，本來不需要密碼，你卻用了密碼登陸到mysql，這就有問題了，也就是說，雖然配置裡的密碼是空的，但是impala預設還是以有密碼的形式登入到mysql，這樣連線就一直被禁止了。解決的方案是：刪掉hive使用者，建立一個使用者名稱和密碼都是hive的使用者接著，把配置裡密碼也輸入hive，問題終於解決了。

—————————————————————————————————————————————————————-

hadoop CDH3U5 使用tarball完整安裝過程

用線上安裝的方式, 需要依賴於外部網路, 等待時間夠長的, 不利於重複部署. 用tarball的方式重新部署了一下. 牽扯到以前是root使用者做的, 本次按要求用非root使用者遇到了些許可權控制方面的問題

統一說明

部署:

ip Hostname 安裝元件
10.0.0.123 Hadoop-master  -namenode, JobTracker,datanode,taskTracker
-hbase-master,hbase-thrift
-secondarynamenode
-zookeeper-server
10.0.0.125 Hadoop-lave -datanode,taskTracker
-hbase-regionServer
-zookeeper-server

下載

從https://ccp.cloudera.com/display … wnloadable+Tarballs下載需要的元件

hadoop,hbase,Hive,zookeeper

http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u5.tar.gz

http://archive.cloudera.com/cdh/3/zookeeper-3.3.5-cdh3u5.tar.gz

http://archive.cloudera.com/cdh/3/hive-0.7.1-cdh3u5.tar.gz

http://archive.cloudera.com/cdh/3/hbase-0.90.6-cdh3u5.tar.gz

將壓縮包放到/hadoop/cdh3中去.

計劃如下

目錄 所有者 許可權
/hadoop/cdh3 hadoop 755 Hadoop及其元件的執行環境
/hadoop/data hadoop 755 見下
/hadoop/data/hdfs hadoop 700 資料節點存放資料的地方, 後續由hdfs-site.xml中的dfs.data.dir指定
/hadoop/data/storage hadoop 777 所有上傳到Hadoop的檔案的存放目錄，所以要確保這個目錄足夠大後續由hadoop.tmp.dir 指定
使用者名稱 Home 用途
hadoop /home/hadoop [1]用於啟動停止hadoop等維護
[2] /hadoop/data/hdfs目錄的700許可權擁有者. 也可以另選使用者

安裝過程

[1]下載JDK

此時選的是jdk1.6.0_43

http://www.oracle.com/technetwork/java/javase/downloads/jdk6downloads-1902814.html
Linux x64  68.7 MB   jdk-6u43-linux-x64.bin

放到/usr/local/share/下並執行 ./ jdk-6u43-linux-x64.bin

然後設定JAVA_HOME及PATH環境變數,注意PATH要增加, 不要覆蓋

root@hadoop-master:~# which java

/usr/local/share/jdk1.6.0_43/bin/java

root@hadoop-master:~# echo $JAVA_HOME

/usr/local/share/jdk1.6.0_43

master與slave都要安裝, 為了配置方便拷貝, 一定給要一樣的目錄

[2]建立hadoop操作使用者

root@hadoop-master:/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin# useradd hadoop -m
root@hadoop-master:/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin# su – hadoop
$ bash
hadoop@hadoop-master:~$
hadoop@hadoop-master:~$ pwd
/home/hadoop
hadoop@hadoop-master:~$ ll
total 28
drwxr-xr-x 3 hadoop hadoop 4096 2013-03-07 05:03 ./
drwxr-xr-x 4 root   root   4096 2013-03-07 05:02 ../
-rw-r–r– 1 hadoop hadoop  220 2011-05-18 03:00 .bash_logout
-rw-r–r– 1 hadoop hadoop 3353 2011-05-18 03:00 .bashrc
-rw-r–r– 1 hadoop hadoop  179 2011-06-22 15:51 examples.desktop
-rw-r–r– 1 hadoop hadoop  675 2011-05-18 03:00 .profile

執行ssh授信
hadoop@hadoop-master:~$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory ‘/home/hadoop/.ssh’.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
17:cc:2b:9c:81:5b:48:53:ee:d6:35:bc:1b:0f:9a:14 hadoop@hadoop-master
The key’s randomart image is:
+–[ RSA 2048]—-+
|      o..        |
|     . = o .     |
|      o + E +    |
|       = + = o   |
|      . S = +    |
|       . + o =   |
|          o . .  |
|                 |
|                 |
+—————–+
hadoop@hadoop-master:~$
hadoop@hadoop-master:~$ cd .ssh
hadoop@hadoop-master:~/.ssh$ ll
total 16
drwxr-xr-x 2 hadoop hadoop 4096 2013-03-07 05:04 ./
drwxr-xr-x 3 hadoop hadoop 4096 2013-03-07 05:04 ../
-rw——- 1 hadoop hadoop 1675 2013-03-07 05:04 id_rsa
-rw-r–r– 1 hadoop hadoop  402 2013-03-07 05:04 id_rsa.pub
hadoop@hadoop-master:~/.ssh$ cat id_rsa.pub  >> authorized_keys

在hadoop-slave新增hadoop使用者, 使用者名稱要與master相同

然後將master的id_rsa.pub 追加到slave機器的/home/hadoop/.ssh/authorized_keys中

到此, master應該可以ssh免密碼登入slave了

[3]安裝hadoop-0.20.2-cdh3u5

解壓縮:

cd /hadoop/cdh3

tar zxvf hadoop-0.20.2-cdh3u5.tar.gz

修改配置檔案

cdh3hadoop-0.20.2-cdh3u5confcore-site.xml

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<!— global properties –>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/hadoop/data/storage</value>
  <description>A directory for other temporary directories.</description>
</property>
<!– file system properties –>
<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop-master:8020</value>
</property>
</configuration>
cdh3hadoop-0.20.2-cdh3u5confhadoop-env.sh

將# export JAVA_HOME=/usr/lib/j2sdk1.6-sun
修改為
export JAVA_HOME=/usr/local/share/jdk1.6.0_43
cdh3hadoop-0.20.2-cdh3u5confhdfs-site.xml

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
  <name>dfs.data.dir</name>
  <value>/hadoop/data/hdfs</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>
</configuration>
cdh3hadoop-0.20.2-cdh3u5confmapred-site.xml

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>hdfs://hadoop-master:8021</value>
</property>
<property>
  <name>mapred.system.dir</name>
  <value>/mapred/system</value>
</property>
</configuration>
cdh3hadoop-0.20.2-cdh3u5confmasters

hadoop-master
cdh3hadoop-0.20.2-cdh3u5confslaves

hadoop-slave
注:如果將hadoop-master也加進來, 那在master機器上也啟動一個datanode, 如果機器規劃多的話就不要加了,
Hadoop使用者下建立目錄
sudo mkdir -p /hadoop/data/storage
sudo mkdir -p /hadoop/data/hdfs
sudo chmod 700 /hadoop/data/hdfs
sudo chown -R hadoop:hadoop /hadoop/data/hdfs
sudo chmod 777 /hadoop/data/storage
sudo chmod o+t /hadoop/data/storage

Hadoop使用者下執行格式化
hadoop@hadoop-master:~$ hadoop namenode -format

啟動hadoop

hadoop@hadoop-master:~$ cd /hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin
hadoop@hadoop-master:/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin$ ./start-all.sh
starting namenode, logging to /mnt/hgfs/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin/../logs/hadoop-hadoop-namenode-hadoop-master.out
hadoop-slave: starting datanode, logging to /mnt/hgfs/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin/../logs/hadoop-hadoop-datanode-hadoop-slave.out
hadoop-master: starting secondarynamenode, logging to /mnt/hgfs/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin/../logs/hadoop-hadoop-secondarynamenode-hadoop-master.out
starting jobtracker, logging to /mnt/hgfs/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin/../logs/hadoop-hadoop-jobtracker-hadoop-master.out
hadoop-slave: starting tasktracker, logging to /mnt/hgfs/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin/../logs/hadoop-hadoop-tasktracker-hadoop-slave.out

檢視啟動結果
hadoop@hadoop-master:/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin$ jps
5759 SecondaryNameNode
5462 NameNode
5832 JobTracker
5890 Jps
hadoop@hadoop-master:/hadoop/cdh3/hadoop-0.20.2-cdh3u5/bin$

—————————————————————————————————————————————-

對於Yum，Rpm的方式就不詳細介紹了，下面總體介紹一下：


Redhat/Centos系列可以下載rpm包安裝，也可以配置repo，使用Yum方式一鍵安裝：

Redhat/Centos/Oracle 5

wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/cdh4-repository-1-0.noarch.rpm
sudo rpm --import http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera

Redhat/Centos 6 wget http://archive.cloudera.com/cdh4/redhat/6/x8664/cdh/cdh4- repository-1-0.noarch.rpm sudo rpm –import http://archive.cloudera.com/cdh4 … PM-GPG-KEY-cloudera

然後安裝各元件：

  $ sudo yum install hadoop-yarn-resourcemanager
    $ sudo yum install hadoop-hdfs-namenode
    $ sudo yum install hadoop-hdfs-secondarynamenode
    $ sudo yum install hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce
    $ sudo yum install hadoop-mapreduce

—————————————————————————————————————————————-

CDH5已經使用了Hadoop2.2.0，我們介紹一下如何手動安裝：

Hadoop CDH5 手動安裝偽分散式模式
由於Cloudera強烈建議使用rmp包或者apt-get的方式安裝，一時半刻我都沒有找到手動安裝的說明，在安裝的遇到多個問題，稍作記錄

首先環境要求

         JDK1.7_u25+

         Maven3.0.5

         protoc2.5

         cmake

         ant

         zlib1g-dev

在安裝完protocbuf後無法正常執行protoc命令，報錯

protoc: error while loading shared libraries: libprotoc.so.8: cannot open shared object file: No such file or directory
解決方案是在make install後再執行一句sudo ldconfig

修改配置檔案

etc/hadoop/core-site.xml

<property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://localhost</value>  
</property>

etc/hadoop/hdfs-site.xml

<property>  
        <name>dfs.replication</name>  
        <value>1</value>  
</property>  
<property>  
        <name>hadoop.tmp.dir</name>  
        <value>/home/username/src/cdh5/hadoop/hdfs</value>  
</property>  
<property>  
        <name>dfs.namenode.http-address</name>  
        <value>localhost:50070</value>  
</property>  
  
<property>  
        <name>dfs.namenode.secondary.http-address</name>  
        <value>localhost:50090</value>  
</property>

etc/hadoop/yarn-site.xml

<property>  
  <name>yarn.resourcemanager.hostname</name>  
  <value>localhost</value>  
</property>  
  
<property>  
  <name>yarn.nodemanager.aux-services</name>  
  <value>mapreduce_shuffle</value>  
</property>  
  
<property>  
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property>  
然後format，啟動start-all.sh

啟動偽分散式模式碰到的第一個問題是找不到JAVA_HOME


原因是啟動命令呼叫sbin/slaves.sh指令碼，這個指令碼中有使用ssh遠端呼叫其他機器的命令


在這種情況下bashrc中的設定環境變數的語句沒有被執行，原因是bashrc中第一句語句（[ -z "$PS1" ] && return）會判斷呼叫模式是否是互動式模式，如果是非互動式模式則直接退出，所以寫在下面的語句都沒有被執行，解決方法有兩個


1.是把設定JAVA_HOME的語句寫在bashrc檔案的最前面


2.是修改etc/hadoop/hadoop-evn.sh中的export JAVA_HOME=${JAVA_HOME}，不要使用系統的環境變數賦值，直接改成絕對路徑


修改完後再次啟動成功


使用jps會看到所有的程式


3536 ResourceManager

3116 DataNode

2900 NameNode

3378 SecondaryNameNode

3755 NodeManager

2168 Jps

使用hadoop fs -ls 檢視檔案系統的時候會遇到報錯


WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable


原因是缺少libhadoop.so檔案


在src目錄或者hadoop-common子專案中重新build，命令：mvn package -DskipTests -Pdist,native,docs -Dtar


再次遇到報錯[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found


這次是遇到BUG了按照https://issues.apache.org/jira/browse/HADOOP-10110官方說明在hadoop-common-project/hadoop-auth/pom.xml檔案中新增
<dependency>  
   <groupId>org.mortbay.jetty</groupId>  
   <artifactId>jetty-util</artifactId>  
   <scope>test</scope>  
</dependency>

再次編譯遇到報錯Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on projecthadoop-common:
這是沒有安裝zlib1g-dev的關係，這個可以 使用apt-get安裝

最後把生成的.so檔案全部拷貝到lib/native/目錄下，再次執行hadoop fs -ls沒有報錯資訊

來自群組: Hadoop技術組


相關文章