centos7環境下安裝CM、CDH(未完)

由於作者已經將centos7設定成root免密登入，所以本文所有步驟都是在root許可權下進行設定。設定root免密登入的方法見下面連結：https://blog.csdn.net/phenixzhong/article/details/107484359

由於cloudera 6.3.1的後續版本需要使用者名稱和密碼才能獲取，所以本文只能採用6.3.1版本來解說CM、CDH的安裝步驟。

cloudera官方參考連結：https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_installing_configuring_dbs.html

https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/cm_ig_create_local_package_repo.html

1、為Cloudera Manager配置倉庫

wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

2、安裝jdk

參考如下連結：https://blog.csdn.net/phenixzhong/article/details/89055620

3、安裝Cloudera Manager Server

yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

下載會很忙，也可以如下連結中下載好cm6.3.1-redhat7.tar.gz，解壓後拷貝cloudera-manager-daemons、cloudera-manager-agent、cloudera-manager-server的相應檔案到目錄/var/cache/yum/x86_64/7/cloudera-manager/packages/下，然後再執行一次上面的命令。

https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/

4、安裝和配置資料庫

作者選擇安裝的MySQL

  4.1 安裝MySQL

    4.1.1 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

 

    4.1.2 yum -y install mysql57-community-release-el7-10.noarch.rpm

    4.1.3 yum -y install mysql-community-server

    4.1.4 systemctl start mysqld

  4.2 設定MySQL為自啟動服務

        systemctl enable mysqld

  4.3 啟動MySQL

        systemctl start mysqld

  4.4 獲取mysql初始密碼

        grep "password" /var/log/mysqld.log

  4.5 登入進入資料庫

    mysql -uroot -p

  4.6 修改mysql安全等級

    4.6.1 檢視 mysql 初始的密碼策略

             SHOW VARIABLES LIKE 'validate_password%';

    4.6.2 設定密碼的驗證強度等級，設定 validate_password_policy 的全域性引數為 LOW 即可

             set global validate_password_policy=LOW;

    4.6.3 當前密碼長度為 8，如果不介意的話就不用修改了，按照通用的來講，設定為 6 位的密碼，設定validate_password_length 的全域性引數為 6 即可

              set global validate_password_length=6;

    4.6.4 修改mysql root密碼

             ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

  4.7 安裝MySQL JDBC驅動

    wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.21.tar.gz

    tar zxvf mysql-connector-java-8.0.21.tar.gz

    mkdir -p /usr/share/java/

    cd mysql-connector-java-8.0.21

    cp mysql-connector-java-8.0.21.jar /usr/share/java/mysql-connector-java.jar

  4.8 為Cloudera建立資料庫

        CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';

        CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

        GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';

5、為Cloudera設定資料庫

      /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

6、下載CDH

      從網址https://archive.cloudera.com/cdh6/6.3.2/parcels/中下載CDH-6.3.2-1.cdh6.3.2.p0.1605554以及其hash檔案

      將下載的CDH parcels檔案放到 /opt/cloudera/parcel-repo 資料夾下

7、安裝CDH和其他軟體

  7.1 啟動Cloudera Management伺服器

        systemctl start cloudera-scm-server

  7.2 等幾分鐘，執行下面命令觀看啟動過程

    tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

  7.3 在瀏覽器中，輸入下面命令

        http://localhost:7180

        因為VMware中瀏覽器不能顯示所有網頁，所以在宿主機的瀏覽器中輸入192.168.40.11:7180

        輸入使用者名稱、密碼(都是admin)

  7.4 登入進去後的介面如下：

  7.5 點選上圖中的Continue按鈕後的介面如下：

  7.6 修改上圖中的叢集名和點選Continue按鈕後的介面如下：

  7.7 、在上圖中輸入你要管理的機器名(/etc/hosts中要儲存有機器名和ip地址的對映)後，點選search按鈕，結果見下圖：

  7.8 點選上圖中的Continue按鈕後的介面如下：

  7.9 在上圖中選擇你要安裝的元件，選擇最新的CDH會提示有些元件不能安裝。選完後的介面如下所示(我安裝了jdk1.8，所以沒有選上"Install Oracle Java SE Development Kit (JDK 8) ")：

  7.10 點選上圖中的Continue按鈕後所示介面如下：

  7.11 上圖中估計是輸入root的密碼，我每臺機器的root密碼都是一樣的，點選Continue按鈕後的介面如下：

要加速該步驟，可以在slave1、slave2上參考上面第3步。

  7.12 上圖是點選了Continue按鈕後的效果。

https://archive.cloudera.com/cdh6/6.3.2/parcels/