LVS基礎-四種模式原理與實現

十五十六發表於2018-09-11

簡介

LVS是Linux Virtual Server的簡寫，意即Linux虛擬伺服器，是一個虛擬的伺服器叢集系統。本專案在1998年5月由章文嵩博士成立，是中國國內最早出現的自由軟體專案之一。現在 LVS 已經是 Linux 核心標準的一部分。使用 LVS 可以達到的技術目標是：通過 LVS 達到的負載均衡技術和 Linux 作業系統實現一個高效能高可用的 Linux 伺服器叢集，它具有良好的可靠性、可擴充套件性和可操作性。從而以低廉的成本實現最優的效能。LVS 是一個實現負載均衡叢集的開源軟體專案，LVS架構從邏輯上可分為排程層、Server叢集層和共享儲存。

LVS叢集的型別

lvs-nat：修改請求報文的目標IP；
lvs-dr：操縱封裝新的MAC地址；
lvs-tun：在原請求IP報文之外新加一個IP首部；
lvs-fullnat：修改請求報文的源和目標IP；

ipvsadm命令：

ipvsadm命令：
ipvs工作在核心，ipvsadm用來管理ipvs的使用者空間工具
格式：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]               
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

常用的命令：

新增一個叢集服務

ipvsadm -A -t|u|f service-address [-s scheduler] [-p [ti meout]]
-A:新增一個叢集服務
service-address：一般是vip，提供給使用者訪問的ip
-t|u|f：
        -t: TCP協議的埠，VIP:TCP_PORT
        -u: UDP協議的埠，VIP:UDP_PORT
        -f：firewall MARK，是一個數字；
-s：排程方法，預設wlc
-p：持久連結時間

刪除一個叢集服務

ipvsadm -D -t|u|f service-address
-t|u|f：
        -t: TCP協議的埠，VIP:TCP_PORT
        -u: UDP協議的埠，VIP:UDP_PORT
        -f：firewall MARK，是一個數字；

在叢集中新增一個RS

ipvsadm -a -t|u|f service-address -r server-address [-g|i|m] [-w weight]

-a：在叢集中新增一個RS
-t|u|f：
        -t: TCP協議的埠，VIP:TCP_PORT
        -u: UDP協議的埠，VIP:UDP_PORT
        -f：firewall MARK，是一個數字；
 -r server-address ：後端Real server ip
 [-g|i|m]: 
       -g:gateway, dr型別
       -i: ipip, tun型別
       -m: masquerade, nat型別
-w:指定權重

從叢集中刪除某個RS

ipvsadm -d -t|u|f service-address -r server-address

-d:刪除
-t|u|f：
        -t: TCP協議的埠，VIP:TCP_PORT
        -u: UDP協議的埠，VIP:UDP_PORT
        -f：firewall MARK，是一個數字；
 -r server-address ：後端Real server ip

清空定義的所有內容

ipvsadm -C

檢視：

ipvsadm -L|l [options]
options：
        --numeric, -n：用數字的格式輸出ip和埠
        --exact：expand numbers (display exact values)
        --connection， -c：輸出當前ipvs連線
        --stats：輸出狀態資訊
        --rate ：檢視速率

儲存和過載：

ipvsadm -S  #儲存規則
ipvsadm -R  #過載規則

排程方法

輪叫排程 rr
這種演算法是最簡單的，就是按依次迴圈的方式將請求排程到不同的伺服器上，該演算法最大的特點就是簡單。輪詢演算法假設所有的伺服器處理請求的能力都是一樣的，排程器會將所有的請求平均分配給每個真實伺服器，不管後端 RS 配置和處理能力，非常均衡地分發下去。
加權輪叫 wrr
這種演算法比 rr 的演算法多了一個權重的概念，可以給 RS 設定權重，權重越高，那麼分發的請求數越多，權重的取值範圍 0 – 100。主要是對rr演算法的一種優化和補充， LVS 會考慮每臺伺服器的效能，並給每臺伺服器新增要給權值，如果伺服器A的權值為1，伺服器B的權值為2，則排程到伺服器B的請求會是伺服器A的2倍。權值越高的伺服器，處理的請求越多。
最少連結 lc
這個演算法會根據後端 RS 的連線數來決定把請求分發給誰，比如 RS1 連線數比 RS2 連線數少，那麼請求就優先發給 RS1
加權最少連結 wlc
這個演算法比 lc 多了一個權重的概念。
基於區域性性的最少連線排程演算法 lblc
這個演算法是請求資料包的目標 IP 地址的一種排程演算法，該演算法先根據請求的目標 IP 地址尋找最近的該目標 IP 地址所有使用的伺服器，如果這臺伺服器依然可用，並且有能力處理該請求，排程器會盡量選擇相同的伺服器，否則會繼續選擇其它可行的伺服器
複雜的基於區域性性最少的連線演算法 lblcr
記錄的不是要給目標 IP 與一臺伺服器之間的連線記錄，它會維護一個目標 IP 到一組伺服器之間的對映關係，防止單點伺服器負載過高。
目標地址雜湊排程演算法 dh
該演算法是根據目標 IP 地址通過雜湊函式將目標 IP 與伺服器建立對映關係，出現伺服器不可用或負載過高的情況下，發往該目標 IP 的請求會固定發給該伺服器。
源地址雜湊排程演算法 sh
與目標地址雜湊排程演算法類似，但它是根據源地址雜湊演算法進行靜態分配固定的伺服器資源

nat模式

這裡寫圖片描述
過程

當使用者訪問Director Server，資料包會先進入核心空間的PREPOUTING鏈，這時候源ip地址為cip（使用者自己的ip），目的ip為vip
在PREPOUTING鏈上檢查發現，vip是自己，於是傳送到核心空間的INPUT鏈
ipvs工作在INPUT鏈上，發現vip是叢集服務。修改資料包的目的ip為後端伺服器的rip（後端伺服器可以不止一個，上圖只是假設分配給了第一臺real server）然後傳送資料包到POSTROUTING鏈
Director Server將資料包傳送到rip1
rip1收到請求做出處理，構建響應報文，此時資料包源地址為rip1，目的地址為cip
當響應的資料包到達Director Server，Director Server會自動將源ip改為vip，這時候返回給使用者的報文源ip為vip，目的ip為cip

nat模式特點

RIP和DIP必須在同一個IP網路，且應該使用私網地址；RS的閘道器要指向DIP；
請求報文和響應報文都必須經由Director轉發；Director易於成為系統瓶頸；
支援埠對映，可修改請求報文的目標PORT；
vs必須是Linux系統，rs可以是任意系統；

實驗測試：
拓撲圖
這裡寫圖片描述

DIP：192.168.253.141
RIP1：192.168.253.140
RIP2:192.168.253.129

實驗內容：負載均衡一個web服務。RS1和RS2提供web服務。DR負責將請求分發到2個RS上，因為是校園網，沒辦法使用橋接網路。所以這裡DR伺服器上DIP和VIP都是192.168.253.141

第一步：現在DR上下載ipvsadm，ipvs的使用者空間管理工具

yum install ipvsadm

第二步：在DR上新建一個叢集服務

##新建一個叢集服務
ipvsadm -A -t 192.168.253.141:80 -s rr  
##新增2個RS
ipvsadm -a -t 192.168.253.141:80 -r 192.168.253.140:80 -m -w 1
ipvsadm -a -t 192.168.253.141:80 -r 192.168.253.129:80 -m -w 1

第三步：在RS1和RS2上搭建web服務。

RS1:
yum install httpd
echo "192.168.253.140" > /var/www/html/index.html
systemctl  start httpd

RS2:
yum install httpd
echo "192.168.253.129" > /var/www/html/index.html
systemctl  start httpd

第四步：測試
這裡寫圖片描述
成功。

DR模式

通過為請求報文重新封裝一個MAC首部進行轉發，源MAC是DIP所在的介面的MAC，目標MAC是某挑選出的RS的RIP所在介面的MAC地址；源IP/PORT，以及目標IP/PORT均保持不變；

這裡寫圖片描述

過程：

使用者傳送請求到DR，首先進入DR核心空間的PREROUTING鏈，檢查發現VIP是自己，於是將資料包傳送到INPUT鏈
INPUT鏈上工作著ipvs，檢查是否是叢集服務，如果是則將目標MAC地址修改為後端服務Real server的mac地址，然後將資料包傳送到POSTROUTING鏈，此時的源IP和目的IP均未修改，僅修改了源MAC地址為DIP的MAC地址，目標MAC地址為RS的MAC地址
當RS收到資料包的時候，拆開的時候，發現mac是自己，於是接受報文發往INPUT鏈再到使用者空間處理，然後將響應報文傳送出去。這裡不需要將資料包傳送到DR，可以通過別的網路卡出去。此時的源IP地址為VIP，目標IP為CIP，源MAC地址為RSMAC，目的MAC地址為CMAC
資料包到達客戶端

DR模式特點：

確保前端路由器將目標IP為VIP的請求報文發往Director，因為RS和DR都擁有VIP，如果前端的路由器發起arp廣播詢問誰是VIP擁有者，這時候如果DR和RS都應答自己擁有VIP就會出現爭搶。導致DR無法正常分配請求給後端RS。解決的方法有幾種
- 在前端閘道器做靜態繫結，將VIP的mac繫結在DR上
- 在RS上使用arptables；在arp的層次上實現在ARP解析時做防火牆規則，過濾RS響應ARP請求。缺點：配置麻煩，複雜
- 在RS上修改核心引數（arp_announce，arp_ignore）以限制arp通告及應答級別；（最常用）
  限制響應級別：arp_ignore
  0：預設值，表示可使用本地任意介面上配置的任意地址進行響應；
  1: 僅在請求的目標IP配置在本地主機的接收到請求報文介面上時，才給予響應；
  限制通告級別：arp_announce
  0：預設值，把本機上的所有介面的所有資訊向每個介面上的網路進行通告；
  1：儘量避免向非直接連線網路進行通告；
  2：必須避免向非本網路通告；
RS的RIP可以使用私網地址，也可以是公網地址；RIP與DIP在同一IP網路；RIP的閘道器不能指向DIP，以確保響應報文不會經由Director；
RS跟Director要在同一個物理網路；
請求報要文經由Director，但響應不能經由Director，而是由RS直接發往Client；
不支援埠對映；

實驗測試：
環境：
DR：
VIP：192.168.253.192
DIP：192.168.253.141
RS1：
VIP：192.168.253.192（lo:0介面上）
RIP1：192.168.253.140
RS2：
VIP：192.168.253.192（lo:0介面上）
RIP1：192.168.253.129

第一步：在DR上設定VIP

ifconfig ens33:0 192.168.253.192 up

第二步：在DR上建立叢集服務

ipvsadm -A -t 192.168.253.192:80 -s rr
ipvsadm -a -t 192.168.253.192:80 -r 192.168.253.129 -g  -w 1
ipvsadm -a -t 192.168.253.192:80 -r 192.168.253.140 -g  -w 1

第三步：在RS1上配置VIP,修改核心引數

配置VIP
ifconfig lo:0 192.168.253.192/32   up
修改核心引數
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

第四步：在RS2上配飾VIP，修改核心引數

ifconfig lo:0 192.168.253.192/32   up
修改核心引數
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

第五步：測試，別的伺服器上測試
這裡寫圖片描述

根據這個過程我們可以作2個指令碼，一個用於DR配置，另一個用於RS配置
DR端配置指令碼

#!/bin/bash
#
vip='192.168.253.192'
iface='en33:0'
mask='255.255.255.255'
port='80'
rs1='192.168.253.140'
rs2='192.168.253.129'
scheduler='rr'
type='-g'

case $1 in
start)
    ifconfig $iface $vip netmask $mask broadcast $vip up
    iptables -F

    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    ;;
*)
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

RS端配置指令碼

#!/bin/bash
#
vip=192.168.253.192
mask='255.255.255.255'

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

    ifconfig lo:0 $vip netmask $mask broadcast $vip up
    route add -host $vip dev lo:0
    ;;
stop)
    ifconfig lo:0 down

    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

    ;;
*) 
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

tun模式（不常用）

轉發方式：不修改請求報文的IP首部（源IP為CIP，目標IP為VIP），而是在原IP報文之外再封裝一個IP首部（源IP是DIP，目標IP是RIP），將報文發往挑選出的目標RS；RS直接響應給客戶端（源IP是VIP，目標IP是CIP）；

特點：
(1) DIP, VIP, RIP都應該是公網地址；
(2) RS的閘道器不能，也不可能指向DIP；
(3) 請求報文要經由Director，但響應不能經由Director；
(4) 不支援埠對映；
(5) RS的OS得支援隧道功能；

fullnat模式（不常用）

通過同時修改請求報文的源IP地址和目標IP地址進行轉發；此型別預設不支援；

(1) VIP是公網地址，RIP和DIP是私網地址，且通常不在同一IP網路；因此，RIP的閘道器一般不會指向DIP；
(2) RS收到的請求報文源地址是DIP，因此，只能響應給DIP；但Director還要將其發往Client；
(3) 請求和響應報文都經由Director；
(4) 支援埠對映；

參考：
https://www.cnblogs.com/lipengxiang2009/p/7451050.html

LVS四種實現模式詳解
2019-04-20
模式
React基礎與原理實現
2020-11-22
React
叢集，lvs負載均衡的四種工作模式
2021-05-04
負載模式
LVS-NAT模式的實現
2021-07-09
模式
web基礎（四）嚴格模式與混雜模式
2020-08-16
Web模式
LVS原理
2018-06-25
框架-SPI四種模式+通用裝置驅動實現
2020-10-31
框架模式
MPLS基礎與工作原理
2022-05-17
深入理解TensorFlow架構設計與實現原理 3 ：基礎概念
2018-05-28
架構
LVS (一) 原理
2018-10-07
快速掌握RabbitMQ(四)——兩種種消費模式和QOS的C#實現
2019-05-25
MQ模式C#
使用LVS實現負載均衡原理及安裝配置詳解
2020-12-09
負載
用最基礎的方法講解 Redux 實現原理
2019-03-01
Redux
matlab實現人臉識別（數學基礎原理）
2020-10-21
Matlab
基於redis實現的四種常見的限流策略
2021-06-17
Redis
【基礎】CSS實現多重邊框的5種方式
2018-05-04
CSS
基於Java+SpringBoot+Mysql實現的點卡各種卡寄售平臺功能設計與實現四
2024-11-29
JavaSpring BootMySql
LVS負載均衡群集概念、NAT模式LVS負載均衡實戰部署
2022-03-09
負載模式
分散式事務之事務實現模式與技術（四）
2018-10-01
分散式模式
Lombok 原理與實現
2021-12-29
Lombok
四種鹼基的判讀-Hiseq測序原理2
2018-12-16
JS 基礎篇(一)：建立物件的四種方式
2019-02-15
JS物件
JavaScript夯實基礎系列（四）：原型
2019-03-18
JavaScript原型
快速排序的四種python實現
2019-02-17
排序Python
實戰與原理：如何基於RocketMQ實現分散式事務？
2024-01-29
MQ分散式
23種設計模式(四)-代理模式
2021-06-22
設計模式
後端技術雜談3：Lucene基礎原理與實踐
2019-11-21
後端
多種跨域方式實現原理
2018-09-29
跨域
九種跨域方式實現原理
2019-02-02
跨域
分散式事務與Seate框架（3）——Seata的AT模式實現原理
2021-06-25
分散式框架模式
WiFi基礎(四)：WiFi工作原理及WiFi接入過程
2024-09-18
WiFi
【大語言模型基礎】60行Numpy教你實現GPT-原理與程式碼詳解
2023-12-26
模型GPT
多執行緒基礎-基礎實現
2020-12-12
執行緒
熔斷原理與實現
2020-10-26
InlineHook & 原理與實現（3）
2021-12-23
inlineHook
@weakify 與 @strongify 實現原理
2022-03-20
堆的原理與實現
2021-09-21
單例模式：5種實現方式
2021-02-15
單例模式