本文以兩臺機器實現雙集熱備高可用叢集，主機名node1的IP為192.168.122.168 ，主機名node2的IP為192.168.122.169 。
一、安裝叢集軟體
必須軟體pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關服務，也要安裝對應的軟體
二、配置防火牆
1、禁止防火牆和selinux
|
1 2 |
# systemctl disable firewalld # systemctl stop firewalld |
修改/etc/sysconfig/selinux確保SELINUX=disabled，然後執行setenforce 0或者reboot伺服器以生效
2、設定防火牆規則
|
1 2 |
# firewall-cmd --permanent --add-service=high-availability # firewall-cmd --add-service=high-availability |
三、各節點之間主機名互相解析
分別修改2臺主機名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機主機名和主機表，然後重啟網路服務即可。
|
1 2 3 4 5 6 |
#vi /etc/hostname node1 #systemctl restart network.service #hostname node1 |
配置2臺主機的主機表，在/etc/hosts中加入
|
1 2 |
192.168.122.168 node1 192.168.122.169 node2 |
四、各節點之間時間同步
在node1和node2分別進行時間同步，可以使用ntp實現。
|
1 |
[root@node1 ~]# ntpdate 172.16.0.1 //172.16.0.1 為時間伺服器 |
五、各節點之間配置ssh的無密碼金鑰訪問。
下面的操作需要在各個節點上操作。
|
1 2 |
# ssh-keygen -t rsa -P ‘’ #這個生成一個密碼為空的公鑰和一個金鑰，把公鑰複製到對方節點上即可 # ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2 #對方主機名用登入使用者名稱 |
兩臺主機都要互相可以通訊，所以兩臺主機都得互相生成金鑰和複製公鑰，相互的節點上的hosts檔案是都要解析對方的主機名， 192.168.122.168 node1 192.168.122.169 node2
|
1 |
# ssh node2 ‘date’;date #測試一下是否已經互信 |
六、通過pacemaker來管理高可用叢集
1、建立叢集使用者
為了有利於各節點之間通訊和配置叢集，在每個節點上建立一個hacluster的使用者，各個節點上的密碼必須是同一個。
|
1 2 3 4 5 6 |
# passwd hacluster Changing password for user hacluster. New password: Retype new password: passwd: all authentication tokens updated successfully. |
2、設定pcsd開機自啟動
|
1 2 |
# systemctl start pcsd.service # systemctl enable pcsd.service |
3、叢集各節點之間進行認證
|
1 |
# pcs cluster auth node1 node2Username: hacluster Password: node1: Authorized node2: Authorized |
4、建立並啟動叢集
|
1 2 3 4 5 6 |
[root@z1 ~]# pcs cluster setup --start --name my_cluster node1 node2 node1: Succeeded node1: Starting Cluster... node2: Succeeded node2: Starting Cluster... |
5、設定叢集自啟動
|
1 |
# pcs cluster enable –all |
6、檢視叢集狀態資訊
|
1 |
[root@z1 ~]# pcs cluster status |
7、設定fence裝置
這個可以參考<Red Hat Enterprise Linux 7 High Availability Add-On Reference>
corosync預設啟用了stonith，而當前叢集並沒有相應的stonith裝置，因此此默 認配置目前尚不可用，這可以通過如下命令驗證：
|
1 |
#crm_verify -L -V |
可以通過如下面命令禁用stonith：
|
1 |
#pcs property set stonith-enabled=false（預設是true） |
8、配置儲存
高可用叢集既可以使用本地磁碟來構建純軟體的映象型叢集系統，也可以使用專門的共享磁碟裝置來構建大規模的共享磁碟型叢集系統，充分滿足客戶的不同需求。
共享磁碟主要有iscsi或DBRD。本文並沒有使用共享磁碟。
9、配置浮點IP
不管叢集服務在哪執行,我們要一個固定的地址來提供服務。在這裡我選擇192.168.122.101作為浮動IP,給它取一個好記的名字 ClusterIP 並且告訴叢集 每30秒檢查它一次。
|
1 2 |
# pcs resource create VIP ocf:heartbeat:IPaddr2 ip=192.168.122.170 cidr_netmask=24 op monitor interval=30s # pcs update VIP op monitor interval=15s |
10、配置apache服務
在node1和node2上安裝httpd ，確認httpd開機被禁用
|
1 |
# systemctl status httpd.service； |
配置httpd監控頁面（貌似不配置也可以通過systemd監控），分別在node1和node2上執行
|
1 2 3 4 5 6 |
# cat > /etc/httpd/conf.d/status.conf << EOF SetHandler server-status Order deny,allow Deny from all Allow from localhost EOF |
首先我們為Apache建立一個主頁。在centos上面預設的Apache docroot是/var/www/html,所以我們在這個目錄下面建立一個主頁。
node1節點修改如下：
|
1 2 3 4 5 6 |
[root@node1 ~]# cat <<-END >/var/www/html/index.html <html> <body>Hello node1</body> </html> END |
node2節點修改如下：
|
1 2 3 4 5 6 |
[root@node2 ~]# cat <<-END >/var/www/html/index.html <html> <body>Hello node2</body> </html> END |
下面語句是將httpd作為資源新增到叢集中：
|
1 |
#pcs resource create WEB apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status" |
11、建立group
將VIP和WEB resource捆綁到這個group中，使之作為一個整體在叢集中切換。（此配置為可選)
|
1 2 |
# pcs resource group add MyGroup VIP # pcs resource group add MyGroup WEB |
12、配置服務啟動順序
以避免出現資源衝突，語法：(pcs resource group add的時候也可以根據加的順序依次啟動，此配置為可選)
|
1 2 |
# pcs constraint order [action] then [action] # pcs constraint order start VIP then start WEB |
13、指定優先的 Location （此配置為可選)
Pacemaker 並不要求你機器的硬體配置是相同的,可能某些機器比另外的機器配置要好。這種狀況下我們會希望設定:當某個節點可用時,資源就要跑在上面之類的規則。為了達到這個效果我們建立location約束。同樣的,我們給他取一個描述性的名字(prefer-node1),指明我們想在上面跑WEB 這個服務,多想在上面跑(我們現在指定分值為50,但是在雙節點的叢集狀態下,任何大於0的值都可以達到想要的效果),以及目標節點的名字:
|
1 2 |
# pcs constraint location WEB prefers node1=50 # pcs constraint location WEB prefers node2=45 |
這裡指定分值越大，代表越想在對應的節點上執行。
14、資源粘性（此配置為可選)
一些環境中會要求儘量避免資源在節點之間遷移。遷移資源通常意味著一段時間內無法提供服務，某些複雜的服務，比如Oracle資料庫，這個時間可能會很長。
為了達到這個效果，Pacemaker 有一個叫做“資源粘性值”的概念，它能夠控制一個服務(資源)有多想呆在它正在執行的節點上。
Pacemaker為了達到最優分佈各個資源的目的，預設設定這個值為0。我們可以為每個資源定義不同的粘性值，但一般來說，更改預設粘性值就夠了。資源粘性表示資源是否傾向於留在當前節點，如果為正整數，表示傾向，負數則會離開，-inf表示負無窮，inf表示正無窮。
|
1 |
# pcs resource defaults resource-stickiness=100 |
常用命令彙總：
檢視叢集狀態：#pcs status
檢視叢集當前配置：#pcs config
開機後叢集自啟動：#pcs cluster enable –all
啟動叢集：#pcs cluster start –all
檢視叢集資源狀態：#pcs resource show
驗證叢集配置情況：#crm_verify -L -V
測試資源配置：#pcs resource debug-start resource
設定節點為備用狀態：#pcs cluster standby node1