CentOS6.6-DRBD安裝配置實驗

#在編譯安裝之前，必須安裝核心開發包，以及支援庫

 [shell]# yum -y install gcc kernel-devel kernel-headers

 [shell]# yum -y install perl perl-libs

 [shell]# yum -y install flex libxslt libxslt-devel

 [shell]# tar -xvzf drbd-8.4.8-1.tar.gz -C /usr/local/src

 [shell]# cd /usr/local/src/drbd-8.4.8-1

 [shell]# cd drbd 

 [shell]# make KDIR=/usr/src/kernels/2.6.32-504.23.4.el6.x86_64

 [shell]# cp drbd.ko /lib/modules/`uname -r`/kernel/lib/

 [shell]# depmod            ## 更新核心包關聯檔案modules.dep

 [shell]# modprobe drbd     ## 安裝核心模組

 [shell]# modinfo drbd      ## 檢視drbd核心模組是否載入成功

[shell]#lsmod|grep drbd     # 檢查drbd是否被正確的載入到核心

drbd                  385827  0

libcrc32c               1246  1 drbd

 ## KDIR= 指定的系統核心原始碼路徑，根據實際情況設定

 [shell]# tar -xvzf drbd-utils-8.9.6.tar.gz -C /usr/local/src

 [shell]# cd /usr/local/src/drbd-utils-8.9.6

 [shell]# ./configure --prefix=/usr/local/drbd  --sysconfdir=/etc/ --localstatedir=/var/ --with-heartbeat

 [shell]# make && make install

##--with-heartbeat 支援heartbeat

[shell]# ln -s /usr/local/drbd/sbin/drbdadm /usr/sbin/drbdadm

 [shell]# ln -s /usr/local/drbd/sbin/drbdmeta /usr/sbin/drbdmeta

 [shell]# ln -s /usr/local/drbd/sbin/drbdsetup /usr/sbin/drbdsetup

 [shell]# /etc/rc.d/init.d/drbd start

a)  編輯主配置檔案 /etc/drbd.conf

 drbd.conf描述了drbd裝置與硬碟分割槽的對映關係和一些配置引數

[shell]# vi /etc/drbd.conf

# You can find an example in  /usr/share/doc/drbd.../drbd.conf.example

include "/etc/drbd.d/global_common.conf";

include "/etc/drbd.d/*.res";

 ## global_common.conf檔案包含global和common的DRBD全域性配置部分；

 ## *.res檔案包含DRBD資源的配置資訊。

b)  編輯全域性配置檔案（global_common.conf）：

 [shell]# vi /etc/drbd.d/global_common.conf

# DRBD is the result of over a decade of development by LINBIT.

# In case you need professional services for DRBD or have

# feature requests visit

global {

        usage-count  no;    # 是否加入DRBD官方統計

}

common {

        handlers {

                # 定義處理機制程式，/usr/lib/drbd/ 裡有大量的程式指令碼。

        }

        startup {

                # 定義啟動超時時間等

        }

        options {

                # cpu-mask on-no-data-accessible

        }

        disk {

                # 磁碟相關公共設定，比如I/O、資料狀態

                on-io-error detach;   #發生i/o錯誤的處理方法，detach將映象磁碟直接拔除

        }

        net {

                # 設定DRBD同步時使用的驗證方式和密碼資訊。

                cram-hmac-alg sha1;

                shared-secret "drbd";

        }

        syncer {

                verify-alg sha1;

                # 定義主備節點同步時的網路傳輸速率最大值，一般傳輸速度的30%

                rate 50M;

        }

}

########

備註：對於rate引數，一般是用千兆網路的同步速率和磁碟寫入速率（hdparm  -Tt /dev/drbd0測試結果）中最小者的30%頻寬來設定rate的值，這也是官方的建議。

例如千兆網路的的同步速率為125M/s，磁碟寫入速率為110m/s（hdparm –Tt /dev/drbd0測試結果）

那rate設定為33m/s。這樣設定的原因是，drbd同步由兩個不同的程式來負責：一個replication程式用來同步block的更新，這個值就受限於rate引數的設定；一個syncchribuzatuib程式用來同步後設資料資訊，這個值不受rate引數的限制。如果寫入了非常大，設定的rate引數超過磁碟寫入速度，後設資料的同步速率就會受干擾，傳輸進度變慢，導致機器負載非常高，效能下降得非常厲害，所以這個值應該根據實際環境來進行設定。如果設定的太大，會把所有的頻寬佔滿了，導致replication程式沒有可用頻寬，最終導致I/O停止，出現資料不同步的現象。

###################

c) 建立資源配置檔案(/etc/drbd.d/r0.res)

 [shell]# vi /etc/drbd.d/r0.res

resource r0 {

        # 公用相同部分可以放到頂部，各節點會自動繼承

        protocol  C;        # 使用drbd的第三種同步協議,表示收到遠端主機的寫入確認後,則認為寫入完成

        device    /dev/drbd0;   # DRBD邏輯裝置的路徑

        meta-disk internal;     # drbd的後設資料存放方式，DRBD磁碟內部。

        # 每個主機的說明以"on"開頭,後面是主機名.在後面的{}中為這個主機的配置.

        on drbd1 {      # 此處是節點的主機名‘uname -n’

                address         192.168.10.11:7788;  # 設定DRBD的監聽埠

                disk            /dev/vg_drbd/drbd_data;         # 節點物理裝置,用的未格式化的lvm

        }

        on drbd2 {

                address         192.168.10.12:7788;

                disk            /dev/vg_drbd/drbd_data; #節點物理裝置,用的未格式化的lvm

        }

}

 ## 建立裝置後設資料。這一步必須僅在建立初始化裝置時完成。它初始化DRBD後設資料。

 [shell]# drbdadm create-md r0   #drbd1&&drbd2上都執行

這裡也可以使用drbdadm create-md all來代替drbadmin create-md r0,r0就是上面r0.res檔案裡面建立的資源名稱

備註：這裡面有可能出現建立不成功的現象，

如出現zreo out the device ,shrink that filesystem first，user external meta data這樣的錯誤，說明drbd0這個裝置裡面有已經存在的資料，這時需要使用如下命令覆蓋檔案系統中的裝置塊資訊，操作時確認此分割槽上的資料已經備份過

dd if=/dev/zero of=/dev/drbd0 bs=1M count=128

執行完dd後，再執行drbdadmin create-md all命令

## 啟用資源

 [shell]# drbdadm up r0

 ## 啟動初始完全同步，設定主節點。

 [shell]# drbdadm primary --force r0  #只在主節點drbd1上執行即可

當執行完上面一條命令後初始完全同步就開始了，可以透過cat /proc/drbd來監控同步程式。

 [shell]# cat /proc/drbd

 ## 把/dev/drbd0格式化成ext4格式的檔案系統。

 [shell]# mkfs -t ext4 /dev/drbd0

 ## 將/dev/drbd0掛載到資料目錄

[shell]# mount /dev/drbd0 /opt/apache-tomcat-8.0.27/webapps/

設定drbd開機自啟動

[shell]#  chkconfig  drbd on

 [shell]# cat /proc/drbd

1、ds:UpToDate/Diskless表示其中一個節點沒有初始化，

[root@drbd1 ~]# cat /proc/drbd

version: 8.4.6 (api:1/proto:86-101)

GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@drbd21, 2015-06-16 15:37:24

 0: cs:Connected ro:Primary/Secondary ds:UpToDate/Diskless C r-----

    ns:0 nr:0 dw:0 dr:664 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:20970844

2、ds:UpToDate/Inconsistent表示節點已開始同步，

[root@drbd1 ~]# cat /proc/drbd

version: 8.4.6 (api:1/proto:86-101)

GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@drbd21, 2015-06-16 15:37:24

 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----

    ns:925056 nr:0 dw:0 dr:925720 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:20045788

        [>....................] sync'ed:  1.4% (19572/19836)M  #從這可以看到同步進度為%1.4

        finish: 0:24:57 speed: 13,380 (10,784) K/sec  #從這可以看出同步速度為10m/s

3、節點同步完成，ds:UpToDate/UpToDate

[root@drbd21 ~]# cat /proc/drbd

version: 8.4.6 (api:1/proto:86-101)

GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@drbd21, 2015-06-16 15:37:24

 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

    ns:20970844 nr:0 dw:0 dr:20971508 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

version: 8.4.3 (api:1/proto:86-101)   

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@M2.redhat.sx, 2014-11-11 16:25:08   

0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----   

ns:0 nr:136889524 dw:136889524 dr:0 al:0 bm:8156 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0  

-rw-r--r--. 1 root root 645 Dec 3 2013 authkeys  # heartbeat服務的認證檔案，也就是心跳線連線加密檔案

-rw-r--r--. 1 root root 10502 Dec 3 2013 ha.cf            # heartbeat服務主配置檔案，也就是監控檔案 

-rw-r--r--. 1 root root 5905 Dec 3 2013 haresources       # heartbeat資源管理檔案  

debugfile /var/log/ha-debug                             #開啟錯誤日誌報告

logfile /var/log/ha-log

logfacility     local0

keepalive 1                                             #一秒檢測一次心跳線連線

deadtime 5                                             #5 秒測試不到主伺服器心跳線為有問題出現

warntime 5                                              #警告時間（最好在 2 ～ 10 之間）

initdead 10                                        #初始化啟動時 10 秒無連線視為正常，或指定heartbeat，也就是說在啟動時，需要等待10秒才去啟動任何資源。

udpport 694                                             #用 udp 的 694 埠連線

ucast eth1 172.16.1.71                                #單播方式連線（主從都寫對方的 ip 進行連線）

ucast eth0 172.16.22.8                                #單播方式連線（主從都寫對方的 ip 進行連線），寫兩個心跳是為了安全，其實寫一個就行

node   drbd1                                           #宣告主服(注意是主機名uname -n不是域名)

node   drbd2                                           #宣告備服(注意是主機名uname -n不是域名)

auto_failback off                                     #自動切換（主服恢復後可自動切換回來）這個不要開啟

respawn hacluster /usr/lib64/heartbeat/ipfail           #監控ipfail程式是否掛掉，如果掛掉就重啟它

auth 1                    # 採用何種加密方式  

1 crc                       # 無加密  

#2 sha1 HI!            # 啟用sha1的加密方式  

#3 md5 Hello!       # 採用md5的加密方式 

drbd1 drbddisk::r0 Filesystem::/dev/drbd0::/opt/apache-tomcat-8.0.27/webapps IPaddr::172.16.22.9/24/eth0 tomcat

debugfile /var/log/ha-debug                             #開啟錯誤日誌報告

logfile /var/log/ha-log

logfacility     local0

keepalive 1                                             #1秒檢測一次心跳線連線

deadtime 5                                             #5 秒測試不到主伺服器心跳線為有問題出現

warntime 5                                              #警告時間（最好在 2 ～ 10 之間）

initdead 10                                        #初始化啟動時 10 秒無連線視為正常，或指定heartbeat，在啟動時，需要等待10秒才去啟動任何資源。

udpport 694                                             #用 udp 的 694 埠連線

ucast eth1 172.16.1.72                               #單播方式連線（主從都寫對方的 ip 進行連線）

ucast eth0 172.16.22.7                               #單播方式連線（主從都寫對方的 ip 進行連線）

node   drbd1                                           #宣告主服(注意是主機名uname -n不是域名)

node   drbd2                                           #宣告備服(注意是主機名uname -n不是域名)

auto_failback off                                     #自動切換（主服恢復後可自動切換回來）這個不要開啟

respawn hacluster /usr/lib64/heartbeat/ipfail           #監控ipfail程式是否掛掉，如果掛掉就重啟它

auth 1                    # 採用何種加密方式  

1 crc                       # 無加密  

#2 sha1 HI!            # 啟用sha1的加密方式  

#3 md5 Hello!       # 採用md5的加密方式 

drbd2 drbddisk::r0 Filesystem::/dev/drbd0::/opt/apache-tomcat-8.0.27/webapps IPaddr::172.16.22.9/24/eth0 tomcat

1、configure: error: Cannot build utils without flex, either install flex or pass the --without-utils option.

解決方式：yum install flex

1、[shell]#  /etc/rc.d/init.d/drbd start

Starting DRBD resources: no resources defined!

解決辦法：沒有配置DRBD資源，或編譯時沒指定配置檔案路徑（/etc/drbd.conf)。

2、當執行命令”drbdadm create-md r0”時，出現以下錯誤資訊。

Device size would be truncated, which would corrupt data and result in

'access beyond end of device' errors.

You need to either

 * use external meta data (recommended)

 * shrink that filesystem first

 * zero out the device (destroy the filesystem)

Operation refused.

Command 'drbdmeta 0 v08 /dev/xvdb internal create-md' terminated with exit code 40

drbdadm create-md r0: exited with code 40

解決辦法：初始化磁碟檔案格式, dd if=/dev/zero of=/dev/sdXYZ bs=1M count=1

1）將Drbd1設定為主節點並掛載測試，r0為定義的資源名

 [shell]# drbdadm primary r0 

 [shell]# mount /dev/drbd0 /mnt/drbd0

 [shell]# ls -lh /mnt/drbd0   檢視檔案情況

2）將Drbd2設定為從節點並丟棄資源資料

 [shell]# drbdadm secondary r0

 [shell]# drbdadm -- --discard-my-data connect r0 #從主節點同步資料，並且discard自己的資料

3）在Drbd1主節點上手動連線資源

 [shell]# drbdadm connect r0

4）最後檢視各個節點狀態，連線已恢復正常

 [shell]# cat /proc/drbd

version: 8.3.11 (api:88/proto:86-96)

GIT-hash: 0de839cee13a4160eed6037c4bddd066645e23c5 build by root@drbd2.localdomain, 2011-07-08 11:10:20

#注意下drbd2的cs狀態

 1: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----

    ns:567256 nr:20435468 dw:21002724 dr:169 al:229 bm:1248 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

version: 8.3.11 (api:88/proto:86-96)

GIT-hash: 0de839cee13a4160eed6037c4bddd066645e23c5 build by root@drbd2.localdomain, 2011-07-08 11:10:20

 1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----

    ns:567256 nr:20435468 dw:21002724 dr:169 al:229 bm:1248 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

version: 8.3.11 (api:88/proto:86-96)

GIT-hash: 0de839cee13a4160eed6037c4bddd066645e23c5 build by root@drbd1.localdomain, 2011-07-08 11:10:38

 1: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown   r-----

    ns:20405516 nr:567256 dw:567376 dr:20405706 al:2 bm:1246 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

version: 8.3.11 (api:88/proto:86-96)

GIT-hash: 0de839cee13a4160eed6037c4bddd066645e23c5 build by root@drbd2.localdomain, 2011-07-08 11:10:20

 1: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r-----

    ns:0 nr:185532 dw:185532 dr:0 al:0 bm:15 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:299000

        [======>.............] sync'ed: 39.5% (299000/484532)K

        finish: 0:00:28 speed: 10,304 (10,304) want: 10,240 K/sec