一、服務節點規劃設計
| 機器1 | 機器2 | 機器3 | 機器4 | 機器5 | |
|---|---|---|---|---|---|
| hdfs | NameNode | NameNode | DataNode | DataNode | DataNode |
| YARN | ResourceManager | ResourceManager | NodeManager | NodeManager | NodeManager |
| Zookeeper | Zookeeper | Zookeeper | Zookeeper | Zookeeper | Zookeeper |
| Kafka | Kafka | Kafka | Kafka | ||
| Hbase | master | master | RegionServer | RegionServer | RegionServer |
| flume | flume | flume | flume | ||
| hive | hive | ||||
| mysql | mysql | ||||
| spark | spark | ||||
| hue | hue |
二、Linux環境準備與配置
1.Linux系統常規配置
- 設定IP地址
-
建立使用者
adduser bigdata passwd 123456 -
檔案中設定主機名
vi /etc/sysconfig/network -
主機名對映
vi /etc/hosts 192.168.10.131 bigdata-pro01.mars.com bigdata-pro01 -
關閉防火牆
vi /etc/sysconfig/selinux SELINUX=disabled 重啟 -
解除安裝本身自帶jdk
rpm -qa | grep java rpm -e --nodeps [jdk程式名稱1 jdk程式名稱2] -
root使用者下設定無密碼使用者切換
ls -l /etc/sudoers vi /etc/sudoers 加一行 bigdata ALL=(root)NOPASSWD:ALL -
驗證機器的防火牆是不是關了
sudo service iptables status sudo service iptables start sudo service iptables stop chkconfig iptables off ##永久關閉防火牆
2.克隆虛擬機器並進行相關的配置
3.對叢集中的機器進行基本配置
- 虛擬機器設定固定IP地址
-
設定無祕鑰登入
首先在主節點上生成公鑰
ssh-keygen -t rsa
生成的祕鑰對存放在當前使用者的家目錄下的 .ssh 檔案內
cd ~/.ssh然後將公鑰拷貝到各個子節點上
ssh-copy-id bigdata-pro02.mars.com ssh-copy-id bigdata-pro03.mars.com ssh-copy-id bigdata-pro04.mars.com ssh-copy-id bigdata-pro05.mars.com注意， 這個相當於把公鑰拷貝到從節點（追加的方式）[cat id_rsa.pub >> authorized_keys]
-
同步機器時間，使用ntpdate
主節點設定時間，首先選擇時區，可以使用 tzselect 命令，將時區選擇好
然後使用date -s 設定date -s 2018-08-18 date -s 15:03:02從節點同步主節點的時間，使用crontab 定時任務
0-59/10 * * * * /usr/sbin/ntpdate bigdata-pro01.mars.com
三、HDFS 叢集配置
- hadoop版本下載
cdh版本:下載地址 http://archive.cloudera.com/c...
官網版本：下載地址 http://archive.apache.org/dist/ -
需要配置的檔案
$HADOOP_HOME/etc/hadoop/
hadoop-env.sh
core-site.xml
hdfs-site.xml
slavescore-site.xml配置
<!--property> <name>fs.defaultFS</name> <value>hdfs://bigdata-pro01.mars.com:9000</value> </property-->slaves 配置
bigdata-pro03.mars.com
bigdata-pro04.mars.com
bigdata-pro05.mars.com