linux負載均衡總結性說明(四層負載/七層負載)

散盡浮華發表於2016-12-06

 

在常規運維工作中,經常會運用到負載均衡服務。負載均衡分為四層負載和七層負載,那麼這兩者之間有什麼不同?
廢話不多說,詳解如下:

一.  什麼是負載均衡
1)負載均衡(Load Balance)建立在現有網路結構之上,它提供了一種廉價有效透明的方法擴充套件網路裝置和伺服器的頻寬、增加吞吐量、加強網路資料處理能力、提高網路的靈活性和可用性。負載均衡有兩方面的含義:首先,大量的併發訪問或資料流量分擔到多臺節點裝置上分別處理,減少使用者等待響應的時間;其次,單個重負載的運算分擔到多臺節點裝置上做並行處理,每個節點裝置處理結束後,將結果彙總,返回給使用者,系統處理能力得到大幅度提高。

2)簡單來說就是:其一是將大量的併發處理轉發給後端多個節點處理,減少工作響應時間;其二是將單個繁重的工作轉發給後端多個節點處理,處理完再返回給負載均衡中心,再返回給使用者。目前負載均衡技術大多數是用於提高諸如在Web伺服器、FTP伺服器和其它關鍵任務伺服器上的Internet伺服器程式的可用性和可伸縮性。

二. 負載均衡分類
1)二層負載均衡(mac)
根據OSI模型分的二層負載,一般是用虛擬mac地址方式,外部對虛擬MAC地址請求,負載均衡接收後分配後端實際的MAC地址響應.
2)三層負載均衡(ip)
一般採用虛擬IP地址方式,外部對虛擬的ip地址請求,負載均衡接收後分配後端實際的IP地址響應. (即一個ip對一個ip的轉發, 埠全放開)
3)四層負載均衡(tcp)
在三次負載均衡的基礎上,即從第四層"傳輸層"開始, 使用"ip+port"接收請求,再轉發到對應的機器。
4)七層負載均衡(http)
從第七層"應用層"開始, 根據虛擬的url或IP,主機名接收請求,再轉向相應的處理伺服器。

我們運維中最常見的四層和七層負載均衡,這裡重點說下這兩種負載均衡。
1)四層的負載均衡就是基於IP+埠的負載均衡:在三層負載均衡的基礎上,通過釋出三層的IP地址(VIP),然後加四層的埠號,來決定哪些流量需要做負載均衡,對需要處理的流量進行NAT處理,轉發至後臺伺服器,並記錄下這個TCP或者UDP的流量是由哪臺伺服器處理的,後續這個連線的所有流量都同樣轉發到同一臺伺服器處理。
對應的負載均衡器稱為四層交換機(L4 switch),主要分析IP層及TCP/UDP層,實現四層負載均衡。此種負載均衡器不理解應用協議(如HTTP/FTP/MySQL等等)。

實現四層負載均衡的軟體有:
F5:硬體負載均衡器,功能很好,但是成本很高。
lvs:重量級的四層負載軟體
nginx:輕量級的四層負載軟體,帶快取功能,正規表示式較靈活
haproxy:模擬四層轉發,較靈活

2)七層的負載均衡就是基於虛擬的URL或主機IP的負載均衡:在四層負載均衡的基礎上(沒有四層是絕對不可能有七層的),再考慮應用層的特徵,比如同一個Web伺服器的負載均衡,除了根據VIP加80埠辨別是否需要處理的流量,還可根據七層的URL、瀏覽器類別、語言來決定是否要進行負載均衡。舉個例子,如果你的Web伺服器分成兩組,一組是中文語言的,一組是英文語言的,那麼七層負載均衡就可以當使用者來訪問你的域名時,自動辨別使用者語言,然後選擇對應的語言伺服器組進行負載均衡處理。

對應的負載均衡器稱為七層交換機(L7 switch),除了支援四層負載均衡以外,還有分析應用層的資訊,如HTTP協議URI或Cookie資訊,實現七層負載均衡。此種負載均衡器能理解應用協議。
實現七層負載均衡的軟體有:
haproxy:天生負載均衡技能,全面支援七層代理,會話保持,標記,路徑轉移;
nginx:只在http協議和mail協議上功能比較好,效能與haproxy差不多;
apache:功能較差
Mysql proxy:功能尚可。

總的來說,一般是lvs做4層負載;nginx做7層負載(也能做4層負載, 通過stream模組);haproxy比較靈活,4層和7層負載均衡都能做

三. 四層和七層負載均衡之間的區別
1) 從技術原理上分析
所謂四層負載均衡,也就是主要通過報文中的目標地址和埠,再加上負載均衡裝置設定的伺服器選擇方式,決定最終選擇的內部伺服器。

以常見的TCP為例,負載均衡裝置在接收到第一個來自客戶端的SYN 請求時,即通過上述方式選擇一個最佳的伺服器,並對報文中目標IP地址進行修改(改為後端伺服器IP),直接轉發給該伺服器。TCP的連線建立,即三次握手是客戶端和伺服器直接建立的,負載均衡裝置只是起到一個類似路由器的轉發動作。在某些部署情況下,為保證伺服器回包可以正確返回給負載均衡裝置,在轉發報文的同時可能還會對報文原來的源地址進行修改。

所謂七層負載均衡,也稱為“內容交換”,也就是主要通過報文中的真正有意義的應用層內容,再加上負載均衡裝置設定的伺服器選擇方式,決定最終選擇的內部伺服器。

以常見的TCP為例,負載均衡裝置如果要根據真正的應用層內容再選擇伺服器,只能先代理最終的伺服器和客戶端建立連線(三次握手)後,才可能接受到客戶端傳送的真正應用層內容的報文,然後再根據該報文中的特定欄位,再加上負載均衡裝置設定的伺服器選擇方式,決定最終選擇的內部伺服器。負載均衡裝置在這種情況下,更類似於一個代理伺服器。負載均衡和前端的客戶端以及後端的伺服器會分別建立TCP連線。所以從這個技術原理上來看,七層負載均衡明顯的對負載均衡裝置的要求更高,處理七層的能力也必然會低於四層模式的部署方式。

四層負載均衡在中間傳輸層執行,它處理訊息的傳遞,但不考慮訊息的內容。例如TCP是網路上Hypertext Transfer Protocol(HTTP)流量的第四層協議。在這一過程中,4層負載均衡會將網路資料包轉發到上游伺服器,但不會檢查資料包的內容,只能通過檢查TCP流中的前幾個包來做出有限的路由決策。

七層負載均衡不同於四層負載均衡,它在高階應用層上執行,會處理每個訊息的實際內容。HTTP是網路上網站流量的主要7層協議。七層負載均衡以比四層負載均衡更復雜的方式路由網路流量,尤其適用於基於TCP的流量(如HTTP)。七層負載均衡會終止網路流量並讀取器中訊息,它可以根據訊息內容(如URL或cookie)做出負載均衡決策。隨後,七層負載均衡與選定上有伺服器建立新的TCP連線並將請求寫入伺服器。

簡單來說,二者之間的區別
七層負載均衡基本都是基於http協議的,適用於web伺服器的負載均衡。(nginx)
-  四層負載均衡主要是基於tcp協議報文,可以做任何基於tcp/ip協議的軟體的負載均衡。(haproxy、LVS)
兩者主要區別在於利用的報文所在的層面是不同的,各有各的好處。
七層應用負載的好處,是使得整個網路更”智慧化“。例如訪問一個網站的使用者流量,可以通過七層的方式,將對圖片類的請求轉發到特定的圖片伺服器並可以使用快取技術;將對文字類的請求可以轉發到特定的文字伺服器並可以使用壓縮技術。當然這只是七層應用的一個小案例,從技術原理上,這種方式可以對客戶端的請求和伺服器的響應進行任意意義上的修改,極大的提升了應用系統在網路層的靈活性。很多在後臺,例如Nginx或者Apache上部署的功能可以前移到負載均衡裝置上,例如客戶請求中的Header重寫,伺服器響應中的關鍵字過濾或者內容插入等功能。
四層負載均衡主要是較為靈活,可以作為多種軟體的負載均衡器。

舉個例子形象的說明:四層負載均衡就像銀行的自助排號機,每一個達到銀行的客戶根據排號機的順序,選擇對應的視窗接受服務;而七層負載均衡像銀行大堂經理,先確認客戶需要辦理的業務,再安排排號。這樣辦理理財、存取款等業務的客戶,會根據銀行內部資源得到統一協調處理,加快客戶業務辦理流程。

七層負載均衡的好處
七層負載均衡比基於資料包的四層負載均衡更佔CPU,但很少會導致伺服器效能下降。七層負載均衡可以讓負載均衡器做出更明智的決策,並可以對內容進行優化和更改,如壓縮、加密等等。七層負載均衡還可以利用buffering來解除安裝上游伺服器的慢速連線,從而提高效能。

執行七層負載平衡的元件通常被稱為反向代理伺服器。

七層負載均衡示例
舉個簡單的例子,假設使用者訪問高流量網站,在會話期間,它可能會請求靜態內容(例如影象或視訊)、動態內容(例如新聞訂閱源)或者交易資訊(例如訂單狀態)等等。7層負載平衡允許負載均衡器根據請求本身中的訊息(如內容型別)來路由請求。也就是說,我們可以將對影象或視訊的請求路由到儲存它的伺服器,並進行高度優化以提供多媒體內容;可以將諸如折扣價之類的交易資訊請求路由到負責管理定價的應用伺服器。藉助7層負載平衡,網路和應用程式架構師可以建立高度優化的伺服器基礎架構或應用交付網路,在保障可靠性的同時進行有效擴充套件。

簡單總結
從上面的對比看來四層負載與七層負載最大的區別就是效率與功能的區別。四層負載架構設計比較簡單,無需解析具體的訊息內容,在網路吞吐量及處理能力上會相對比較高,而七層負載均衡的優勢則體現在功能多,控制靈活強大。在具體業務架構設計時,使用七層負載或者四層負載還得根據具體的情況綜合考慮。

負載均衡時的資料流都經過負載均衡器,如何解決負載均衡器成為瓶頸的問題?
通過修改tcp報文的源地址和目的地址,使從web伺服器中返回的資料直接返回到客戶端,這是七層負載均衡無法做到的,因為tcp三次握手建立在客戶端與負載均衡伺服器之間,http協議基於tcp協議,建立好tcp連結後才傳送http報文,收到http報文說明負載均衡器和客戶端已經建立了tcp連線,而web伺服器和客戶端的tcp連結都沒建立,怎麼回傳資料給客戶端呢。以上的辦法會出現問題:所有叢集裡的主機都是內網ip,無法跟外界聯絡。
解決方案1:
如果能買到那麼多外網Ip地址來用,然後在tcp連結要建立時負載均衡給真正的web伺服器,讓客戶端和伺服器建立tcp連結
解決方案2:
引用一句話:計算機所有的問題都可以通過建立一層虛擬層解決。
可以通過將所有伺服器主機ip虛擬化成負載均衡伺服器的ip,這樣伺服器叢集的所有主機都可以訪問外界網路,因為ip地址(網路層,三層)都是相同,所以只能通過第二層來分辨資料流向,修改資料鏈路層(二層)目的主機的MAC地址,使請求發到web伺服器上,然後才真正建立起tcp連線,然後web伺服器因為可以聯網,所以可以直接返回資料給客戶端

2)從應用場景的需求上分析
七層應用負載的好處,是使得整個網路更"智慧化"。例如訪問一個網站的使用者流量,可以通過七層的方式,將對圖片類的請求轉發到特定的圖片伺服器並可以使用快取技術;將對文字類的請求可以轉發到特定的文字伺服器並可以使用壓縮技術。當然這只是七層應用的一個小案例,從技術原理上,這種方式可以對客戶端的請求和伺服器的響應進行任意意義上的修改,極大的提升了應用系統在網路層的靈活性。很多在後臺,例如Nginx或者Apache上部署的功能可以前移到負載均衡裝置上,例如客戶請求中的Header重寫,伺服器響應中的關鍵字過濾或者內容插入等功能。

另外一個常常被提到功能就是安全性。網路中最常見的SYN Flood攻擊,即黑客控制眾多源客戶端,使用虛假IP地址對同一目標傳送SYN攻擊,通常這種攻擊會大量傳送SYN報文,耗盡伺服器上的相關資源,以達到Denial of Service(DoS)的目的。從技術原理上也可以看出,四層模式下這些SYN攻擊都會被轉發到後端的伺服器上;而七層模式下這些SYN攻擊自然在負載均衡裝置上就截止,不會影響後臺伺服器的正常運營。另外負載均衡裝置可以在七層層面設定多種策略,過濾特定報文,例如SQL Injection等應用層面的特定攻擊手段,從應用層面進一步提高系統整體安全。

現在的七層負載均衡,主要還是著重於應用HTTP協議,所以其應用範圍主要是眾多的網站或者內部資訊平臺等基於B/S開發的系統。 4層負載均衡則對應其他TCP應用,例如基於C/S開發的ERP等系統。

3)七層應用需要考慮的問題
3.1) 是否真的必要。七層應用的確可以提高流量智慧化,同時必不可免的帶來裝置配置複雜,負載均衡壓力增高以及故障排查上的複雜性等問題。在設計系統時需要考慮四層七層同時應用的混雜情況。

3.2) 是否真的可以提高安全性。例如SYN Flood攻擊,七層模式的確將這些流量從伺服器遮蔽,但負載均衡裝置本身要有強大的抗DDoS能力,否則即使伺服器正常而作為中樞排程的負載均衡裝置故障也會導致整個應用的崩潰。

3.3) 是否有足夠的靈活度。七層應用的優勢是可以讓整個應用的流量智慧化,但是負載均衡裝置需要提供完善的七層功能,滿足客戶根據不同情況的基於應用的排程。最簡單的一個考核就是能否取代後臺Nginx或者Apache等伺服器上的排程功能。能夠提供一個七層應用開發介面的負載均衡裝置,可以讓客戶根據需求任意設定功能,才真正有可能提供強大的靈活性和智慧性。

4)總體對比
4.1) 智慧性
七層負載均衡由於具備OIS七層的所有功能,所以在處理使用者需求上能更加靈活,從理論上講,七層模型能對使用者的所有跟服務端的請求進行修改。例如對檔案header新增資訊,根據不同的檔案型別進行分類轉發。四層模型僅支援基於網路層的需求轉發,不能修改使用者請求的內容。

4.2) 安全性
七層負載均衡由於具有OSI模型的全部功能,能更容易抵禦來自網路的攻擊;四層模型從原理上講,會直接將使用者的請求轉發給後端節點,無法直接抵禦網路攻擊。

4.3) 複雜度
四層模型一般比較簡單的架構,容易管理,容易定位問題;七層模型架構比較複雜,通常也需要考慮結合四層模型的混用情況,出現問題定位比較複雜。

4.4) 效率比
四層模型基於更底層的設定,通常效率更高,但應用範圍有限;七層模型需要更多的資源損耗,在理論上講比四層模型有更強的功能,現在的實現更多是基於http應用。

四、負載均衡技術方案說明

1)軟/硬體負載均衡
軟體負載均衡解決方案是指在一臺或多臺伺服器相應的作業系統上安裝一個或多個附加軟體來實現負載均衡,如DNS Load Balance,CheckPoint Firewall-1 ConnectControl,Keepalive+ipvs等,它的優點是基於特定環境,配置簡單,使用靈活,成本低廉,可以滿足一般的負載均衡需求。軟體解決方案缺點也較多,因為每臺伺服器上安裝額外的軟體執行會消耗系統不定量的資源,越是功能強大的模組,消耗得越多,所以當連線請求特別大的時候,軟體本身會成為伺服器工作成敗的一個關鍵;軟體可擴充套件性並不是很好,受到作業系統的限制;由於作業系統本身的Bug,往往會引起安全問題。

硬體負載均衡解決方案是直接在伺服器和外部網路間安裝負載均衡裝置,這種裝置通常是一個獨立於系統的硬體,我們稱之為負載均衡器。由於專門的裝置完成專門的任務,獨立於作業系統,整體效能得到大量提高,加上多樣化的負載均衡策略,智慧化的流量管理,可達到最佳的負載均衡需求。負載均衡器有多種多樣的形式,除了作為獨立意義上的負載均衡器外,有些負載均衡器整合在交換裝置中,置於伺服器與Internet連結之間,有些則以兩塊網路介面卡將這一功能整合到PC中,一塊連線到Internet上,一塊連線到後端伺服器群的內部網路上。

軟體負載均衡與硬體負載均衡的對比:
軟體負載均衡的優點是需求環境明確,配置簡單,操作靈活,成本低廉,效率不高,能滿足普通的企業需求;缺點是依賴於系統,增加資源開銷;軟體的優劣決定環境的效能;系統的安全,軟體的穩定性均會影響到整個環境的安全。
硬體負載均衡優點是獨立於系統,整體效能大量提升,在功能、效能上優於軟體方式;智慧的流量管理,多種策略可選,能達到最佳的負載均衡效果;缺點是價格昂貴。

2)本地/全域性負載均衡
負載均衡從其應用的地理結構上分為本地負載均衡(Local Load Balance)和全域性負載均衡(Global Load Balance,也叫地域負載均衡),本地負載均衡是指對本地的伺服器群做負載均衡,全域性負載均衡是指對分別放置在不同的地理位置、有不同網路結構的伺服器群間作負載均衡。

本地負載均衡能有效地解決資料流量過大、網路負荷過重的問題,並且不需花費昂貴開支購置效能卓越的伺服器,充分利用現有裝置,避免伺服器單點故障造成資料流量的損失。其有靈活多樣的均衡策略把資料流量合理地分配給伺服器群內的伺服器共同負擔。即使是再給現有伺服器擴充升級,也只是簡單地增加一個新的伺服器到服務群中,而不需改變現有網路結構、停止現有的服務。

全域性負載均衡主要用於在一個多區域擁有自己伺服器的站點,為了使全球使用者只以一個IP地址或域名就能訪問到離自己最近的伺服器,從而獲得最快的訪問速度,也可用於子公司分散站點分佈廣的大公司通過Intranet(企業內部網際網路)來達到資源統一合理分配的目的。

3)網路層次上的負載均衡
針對網路上負載過重的不同瓶頸所在,從網路的不同層次入手,我們可以採用相應的負載均衡技術來解決現有問題。
隨著頻寬增加,資料流量不斷增大,網路核心部分的資料介面將面臨瓶頸問題,原有的單一線路將很難滿足需求,而且線路的升級又過於昂貴甚至難以實現,這時就可以考慮採用鏈路聚合(Trunking)技術。
鏈路聚合技術(第二層負載均衡)將多條物理鏈路當作一條單一的聚合邏輯鏈路使用,網路資料流量由聚合邏輯鏈路中所有物理鏈路共同承擔,由此在邏輯上增大了鏈路的容量,使其能滿足頻寬增加的需求。
現代負載均衡技術通常操作於網路的第四層或第七層。第四層負載均衡將一個Internet上合法註冊的IP地址對映為多個內部伺服器的IP地址,對每次 TCP連線請求動態使用其中一個內部IP地址,達到負載均衡的目的。在第四層交換機中,此種均衡技術得到廣泛的應用,一個目標地址是伺服器群VIP(虛擬 IP,Virtual IP address)連線請求的資料包流經交換機,交換機根據源端和目的IP地址、TCP或UDP埠號和一定的負載均衡策略,在伺服器IP和VIP間進行對映,選取伺服器群中最好的伺服器來處理連線請求。

七層負載均衡控制應用層服務的內容,提供了一種對訪問流量的高層控制方式,適合對HTTP伺服器群的應用。第七層負載均衡技術通過檢查流經的HTTP報頭,根據報頭內的資訊來執行負載均衡任務。

七層負載均衡優點表現在如下幾個方面:
1)通過對HTTP報頭的檢查,可以檢測出HTTP400、500和600系列的錯誤資訊,因而能透明地將連線請求重新定向到另一臺伺服器,避免應用層故障。
2)可根據流經的資料型別(如判斷資料包是影象檔案、壓縮檔案或多媒體檔案格式等),把資料流量引向相應內容的伺服器來處理,增加系統效能。
3)能根據連線請求的型別,如是普通文字、圖象等靜態文件請求,還是asp、cgi等的動態文件請求,把相應的請求引向相應的伺服器來處理,提高系統的效能及安全性。

七層負載均衡缺點表現在如下幾個方面:
1)七層負載均衡受到其所支援的協議限制(一般只有HTTP),這樣就限制了它應用的廣泛性。
2)七層負載均衡檢查HTTP報頭會佔用大量的系統資源,勢必會影響到系統的效能,在大量連線請求的情況下,負載均衡裝置自身容易成為網路整體效能的瓶頸。

五、負載均衡策略
在實際應用中,我們可能不想僅僅是把客戶端的服務請求平均地分配給內部伺服器,而不管伺服器是否當機。而是想使Pentium III伺服器比Pentium II能接受更多的服務請求,一臺處理服務請求較少的伺服器能分配到更多的服務請求,出現故障的伺服器將不再接受服務請求直至故障恢復等等。選擇合適的負載均衡策略,使多個裝置能很好的共同完成任務,消除或避免現有網路負載分佈不均、資料流量擁擠反應時間長的瓶頸。在各負載均衡方式中,針對不同的應用需求,在OSI參考模型的第二、三、四、七層的負載均衡都有相應的負載均衡策略。

負載均衡策略的優劣及其實現的難易程度有兩個關鍵因素:負載均衡演算法;對網路系統狀況的檢測方式和能力。
負載均衡演算法
1)輪循均衡(Round Robin):每一次來自網路的請求輪流分配給內部中的伺服器,從1至N然後重新開始。此種均衡演算法適合於伺服器組中的所有伺服器都有相同的軟硬體配置並且平均服務請求相對均衡的情況。
2)權重輪循均衡(Weighted Round Robin):根據伺服器的不同處理能力,給每個伺服器分配不同的權值,使其能夠接受相應權值數的服務請求。例如:伺服器A的權值被設計成1,B的權值是 3,C的權值是6,則伺服器A、B、C將分別接受到10%、30%、60%的服務請求。此種均衡演算法能確保高效能的伺服器得到更多的使用率,避免低效能的伺服器負載過重。
3)隨機均衡(Random):把來自網路的請求隨機分配給內部中的多個伺服器。
4)權重隨機均衡(Weighted Random):此種均衡演算法類似於權重輪循演算法,不過在處理請求分擔時是個隨機選擇的過程。
5)響應速度均衡(Response Time):負載均衡裝置對內部各伺服器發出一個探測請求(例如Ping),然後根據內部中各伺服器對探測請求的最快響應時間來決定哪一臺伺服器來響應客戶端的服務請求。此種均衡演算法能較好的反映伺服器的當前執行狀態,但這最快響應時間僅僅指的是負載均衡裝置與伺服器間的最快響應時間,而不是客戶端與伺服器間的最快響應時間。
6)最少連線數均衡(Least Connection):客戶端的每一次請求服務在伺服器停留的時間可能會有較大的差異,隨著工作時間加長,如果採用簡單的輪循或隨機均衡演算法,每一臺伺服器上的連線程式可能會產生極大的不同,並沒有達到真正的負載均衡。最少連線數均衡演算法對內部中需負載的每一臺伺服器都有一個資料記錄,記錄當前該伺服器正在處理的連線數量,當有新的服務連線請求時,將把當前請求分配給連線數最少的伺服器,使均衡更加符合實際情況,負載更加均衡。此種均衡演算法適合長時處理的請求服務,如FTP。
7)處理能力均衡:此種均衡演算法將把服務請求分配給內部中處理負荷(根據伺服器CPU型號、CPU數量、記憶體大小及當前連線數等換算而成)最輕的伺服器,由於考慮到了內部伺服器的處理能力及當前網路執行狀況,所以此種均衡演算法相對來說更加精確,尤其適合運用到第七層(應用層)負載均衡的情況下。
8)DNS響應均衡(Flash DNS):在Internet上,無論是HTTP、FTP或是其它的服務請求,客戶端一般都是通過域名解析來找到伺服器確切的IP地址的。在此均衡演算法下,分處在不同地理位置的負載均衡裝置收到同一個客戶端的域名解析請求,並在同一時間內把此域名解析成各自相對應伺服器的IP地址(即與此負載均衡裝置在同一位地理位置的伺服器的IP地址)並返回給客戶端,則客戶端將以最先收到的域名解析IP地址來繼續請求服務,而忽略其它的IP地址響應。在種均衡策略適合應用在全域性負載均衡的情況下,對本地負載均衡是沒有意義的。

相關文章