RHEL5.6 多網路卡bond 繫結

spectre2發表於2011-12-14

(1)編輯虛擬網路介面配置檔案(bond0),並指定網路卡IP
vi   /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
ONBOOT=yes

BOOTPROTO=static
IPADDR=192.168.0.254
BROADCAST=192.168.0.255
NETMASK=255.255.255.0
NETWORK=192.168.0.0
GATEWAY=192.168.0.1
USERCTL=no
TYPE=Ethernet
注意:不要指定MAC地址

vi   /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0   ------新增
SLAVE=yes           ------新增
注意:建議不要指定MAC地址,其餘保持不變即可,註釋掉ip,掩碼,閘道器

vi   /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0   ------新增
SLAVE=yes           ------新增
注意:建議不要指定MAC地址,其餘保持不變即可,註釋掉ip,掩碼,閘道器

4.修改/etc/modprobe.conf,配置繫結模型

加入以下內容:

alias bond0 bonding

options   bonding   millmon=100 mode=0

這樣配置完就不需要在對/etc/rc.local進行修改了

注:{一般會在/etc/rc.local增加以下內容:ifenslave bond0 eth0 eth1,負責在系統啟動時將虛擬網路卡和兩張物理網路卡相繫結,使用本方法不需要此步}

另外:多bond的情況下

a) 當2個或者多個bond網路卡的所有引數(即bonding模組的引數,如mode、miimon 等)都相同時,載入bonding模組時設定 max_bonds引數即可。如max_bonds=2時,載入bonding驅動之後可以建立2個bond網路卡bond0,bond1,修改後的modprobe.conf和下面的情形類似:

alias bond0 bonding

alias bond1 bonding

options bonding  miimon=100 mode=1 max_bonds=2

或:

alias bond0 bonding

options bonding mode=1 miimon=100

alias bond1 bonding

options bonding mode=1 miimon=100

b)當2個或者多個bond網路卡的引數(即bonding模組的引數,如mode、miimon等)不同時,需要在載入bonding模組時修改模組的名稱(文件中的說法是linux的模組載入系統要求系統載入的模組甚至相同模組的不同例項都需要有一個唯一的命名),修改後的modprobe.conf和下面的情形類似:

install bond0 /sbin/modprobe --ignore-install bonding -o bond0

miimon=100 mode=0

install bond1 /sbin/modprobe --ignore-install bonding -o bond1

miimon=100 mode=1


說明:
miimon=100
miimon是指多久時間要檢查網路一次,單位是ms(毫秒)
這邊的100,是100ms,即是0.1秒
意思是假設其中有一條網路斷線,會在0.1秒內自動備援
mode共有七種(0~6)
mode=0:平衡負載模式,有自動備援,但需要”Switch”支援及設定。
mode=1:自動備援模式,其中一條線若斷線,其他線路將會自動備援。

mode=6:平衡負載模式,有自動備援,不必”Switch”支援及設定。

需要說明的是如果想做成mode 0的負載均衡,僅僅設定這裡options bond0 miimon=100 mode=0是不夠的,與網路卡相連的交換機必須做特殊配置(這兩個埠應該採取聚合方式),因為做bonding的這兩塊網路卡是使用同一個MAC地址.
從原理分析一下(bond執行在mode 0下):
mode 0下bond所繫結的網路卡的IP都被修改成相同的mac地址,如果這些網路卡都被接在同一個交換機,那麼交換機的arp表裡這個mac地址對應的埠就有多 個,那麼交換機接受到發往這個mac地址的包應該往哪個埠轉發呢?正常情況下mac地址是全球唯一的,一個mac地址對應多個埠肯定使交換機迷惑了。
所以 mode0下的bond如果連線到交換機,交換機這幾個埠應該採取聚合方式(cisco稱為 ethernetchannel,foundry稱為portgroup),因為交換機做了聚合後,聚合下的幾個埠也被捆綁成一個mac地址.我們的解 決辦法是,兩個網路卡接入不同的交換機即可。

mode6模式下無需配置交換機,因為做bonding的這兩塊網路卡是使用不同的MAC地址。

PS:RHEL4 (centos4)及以下的版本options加在/etc/modprobe.conf中;
RHEL5 (centos5)可以在ifcfg-bond0中加BONDING_OPTS=”mode=1 arp_interval=100 arp_ip_target=192.168.0.1″

 

可以檢視bond0來得知當前狀態:

 

[root@localhost ~]# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.4.0-1 (October 7, 2008)

Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Speed: 100 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:24:XXXXXXXX

Slave Interface: eth1
MII Status: up
Speed: 100 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: 00:24:XXXXXXXX

七種bond模式說明:

第一種模式:mode=0 ,即:(balance-rr) Round-robin policy(平衡掄迴圈策略)
特點:傳輸資料包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1….一直迴圈下去,直到最後一個傳輸完畢), 此模式提供負載平衡和容錯能力;但是我們知道如果一個連線或者會話的資料包從不同的介面發出的話,中途再經過不同的鏈路,在客戶端很有可能會出現資料包無序到達的問題,而無序到達的資料包需要重新要求被髮送,這樣網路的吞吐量就會下降

第二種模式:mode=1,即: (active-backup) Active-backup policy(主-備份策略)
特點:只有一個裝置處於活動狀態,當一個宕掉另一個馬上由備份轉換為主裝置。mac地址是外部可見得,從外面看來,bond的MAC地址是唯一的,以避免switch(交換機)發生混亂。此模式只提供了容錯能力;由此可見此演算法的優點是可以提供高網路連線的可用性,但是它的資源利用率較低,只有一個介面處於工作狀態,在有 N 個網路介面的情況下,資源利用率為1/N

第三種模式:mode=2,即:(balance-xor) XOR policy(平衡策略)
特點:基於指定的傳輸HASH策略傳輸資料包。預設的策略是:(源MAC地址 XOR 目標MAC地址) % slave數量。其他的傳輸策略可以通過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力

第四種模式:mode=3,即:broadcast(廣播策略)
特點:在每個slave介面上傳輸每個資料包,此模式提供了容錯能力

第五種模式:mode=4,即:(802.3ad) IEEE 802.3ad Dynamic link aggregation(IEEE 802.3ad 動態連結聚合)
特點:建立一個聚合組,它們共享同樣的速率和雙工設定。根據802.3ad規範將多個slave工作在同一個啟用的聚合體下。
外出流量的slave選舉是基於傳輸hash策略,該策略可以通過xmit_hash_policy選項從預設的XOR策略改變到其他策略。需要注意的 是,並不是所有的傳輸策略都是802.3ad適應的,尤其考慮到在802.3ad標準43.2.4章節提及的包亂序問題。不同的實現可能會有不同的適應 性。
必要條件:
條件1:ethtool支援獲取每個slave的速率和雙工設定
條件2:switch(交換機)支援IEEE 802.3ad Dynamic link aggregation
條件3:大多數switch(交換機)需要經過特定配置才能支援802.3ad模式

第六種模式:mode=5,即:(balance-tlb) Adaptive transmit load balancing(介面卡傳輸負載均衡)
特點:不需要任何特別的switch(交換機)支援的通道bonding。在每個slave上根據當前的負載(根據速度計算)分配外出流量。如果正在接受資料的slave出故障了,另一個slave接管失敗的slave的MAC地址。
該模式的必要條件:ethtool支援獲取每個slave的速率

第七種模式:mode=6,即:(balance-alb) Adaptive load balancing(介面卡適應性負載均衡)
特點:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receive load balance, rlb),而且不需要任何switch(交換機)的支援。接收負載均衡是通過ARP協商實現的。bonding驅動截獲本機傳送的ARP應答,並把源硬體地址改寫為bond中某個slave的唯一硬體地址,從而使得不同的對端使用不同的硬體地址進行通訊。
來自伺服器端的接收流量也會被均衡。當本機傳送ARP請求時,bonding驅動把對端的IP資訊從ARP包中複製並儲存下來。當ARP應答從對端到達 時,bonding驅動把它的硬體地址提取出來,併發起一個ARP應答給bond中的某個slave。使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬體地址,因此對端學習到這個硬體地址後,接收流量將會全部流向當前的slave。這個問題可以通過給所有的對端傳送更新 (ARP應答)來解決,應答中包含他們獨一無二的硬體地址,從而導致流量重新分佈。當新的slave加入到bond中時,或者某個未啟用的slave重新 啟用時,接收流量也要重新分佈。接收的負載被順序地分佈(round robin)在bond中最高速的slave上
當某個鏈路被重新接上,或者一個新的slave加入到bond中,接收流量在所有當前啟用的slave中全部重新分配,通過使用指定的MAC地址給每個 client發起ARP應答。下面介紹的updelay引數必須被設定為某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答 不會被switch(交換機)阻截。
必要條件:
條件1:ethtool支援獲取每個slave的速率;
條件2:底層驅動支援設定某個裝置的硬體地址,從而使得總是有個slave(curr_active_slave)使用bond的硬體地址,同時保證每個 bond 中的slave都有一個唯一的硬體地址。如果curr_active_slave出故障,它的硬體地址將會被新選出來的 curr_active_slave接管
其實mode=6與mode=0的區別:mode=6,先把eth0流量佔滿,再佔eth1,….ethX;而mode=0的話,會發現2個口的流量都很穩定,基本一樣的頻寬。而mode=6,會發現第一個口流量很高,第2個口只佔了小部分流量

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/14184018/viewspace-713296/,如需轉載,請註明出處,否則將追究法律責任。

相關文章