摘要：傳統的三層資料中心，置身虛擬機器化的浪潮中，其中變革創新，就在此篇文章中一窺究竟吧。
傳統資料中心三層組網架構
政府部門或者金融機構等大型企業的資料中心中伺服器的規模可能會達到2000臺以上。一般情況下，資料中心網路都會進行伺服器的分割槽管理，單個業務分割槽規模不大，此時可以採用下圖所示的標準三層架構。
在這種組網方式中，交換核心區是整個資料中心網路的樞紐，核心裝置通常部署2-4臺大容量高階框式交換機，可以是獨立部署，也可以通過CSS、iStack虛擬化技術後成組部署。分割槽內的匯聚層和接入層通過傳統CSS、iStack、xSTP等技術實現二層破環，當然也可在匯聚層和接入層應用縱向虛擬化技術（如SVF）實現接入層的簡單管理及節點擴充套件。
為什麼採用這種架構，因為架構成熟（廢話），二三層網路技術成熟，部署成熟，也符合資料中心分割槽份模組的特點，總體來說，是執行了多年的成熟實惠大禮包，買不到吃虧，買不到上當。
挑戰來了
隨著20年代初的漸漸遠去，網路人可以滿意的回想，他們已經搞定了網路協議的大部分問題。
凡是能被元件化的，能被分散式的，能被備份的、升級的、安全加固的，不間斷轉發（NSF）到不間斷路由(NSR)最後到不間斷服務(NSS)，被效能優化的，被組網的（局域，廣域）。路由（RIP,OSPF，ISIS，BGP）不行加標籤（MPLS），標籤不行加VPN成隧道（GRE，TE，VPLS, VPWS），凡是能做的都做到了，整個網路丁丁當當，忙忙碌碌。提了一堆普遍重要神氣的國際標準，RFC寫的整整齊齊。當整個三層協議幾個人就可以維護的時候，網路人已經覺得除了硬體更強以外，沒多少事可以幹了。
辯證思維教育告訴我們，完美事物是不存在的。虛擬技術就像那隻蝴蝶的翅膀，悄悄的扇了一下，資料中心的三層組網架構就轟然倒塌了。
虛擬技術把一臺伺服器虛化成了多臺邏輯伺服器，每個VM都可以獨立執行，有自己的OS、APP，當前也有自己獨立的MAC地址和IP地址，它們通過伺服器內部的虛擬交換機（vSwitch）與外部實體網路連線。
對於虛擬技術，資料中心怎麼看也只是個吃瓜群眾，吃著吃著，啊，發現自己是瓜。虛擬技術有個伴生的需求：虛擬機器動態遷移。就是在保證虛擬機器上服務正常執行的同時，將一個虛擬機器系統從一個物理伺服器移動到另一個物理伺服器的過程。這個過程對於終端使用者來說是無感的，管理員能夠在不影響使用者正常使用的情況下，靈活調配伺服器資源，或者對物理伺服器進行維修和升級。
大白話就是動態遷移就是虛擬機器搬家（不是同一個物理機），搬家的時候，虛擬機器還要繼續幹活，離崗不離職。為了保證遷移時業務不中斷，就要求在遷移時，不僅虛擬機器的IP地址不變，而且虛擬機器的執行狀態也必須保持原狀（例如TCP會話狀態），所以虛擬機器的動態遷移只能在同一個二層域中進行，而不能跨二層域遷移。虛擬機器說我不是小靈通的命，要跨AZ,要跨Region, 要走向真正移動的星辰大海。
大二層網路面臨的問題
既然要走向星辰大海，那就把自己的地盤擴大成大海吧。把所有伺服器都納入一個二層網路(大於10000臺以上)。納入之前，我們先分析一下大二層網路的要求點：由於虛擬機器遷移這個直接需求必須要求虛擬機器在遷移前後保持IP地址不變，那麼所有伺服器必須要通過一個二層網路進行連線。那麼這個二層網路有什麼要求呢？
1：大，在一個資料中心伺服器數量動輒上萬甚至十萬級別的今天，可以想象，我們需要一個足夠大的二層網路來連線數量巨大的伺服器。
2：快，伺服器數量的增加導致業務吞吐量增加，東西向流量增加，要求網路中每個節點都能提供線速轉發的能力，並且網路中的鏈路必須儘可能的都利用起來，保證資料中心的網路頻寬，資料的轉發最好是能通過一條最短的路徑來進行。
先看看傳統的VLAN+xSTP二層技術不能把所有伺服器都劃到同一個二層域。為了提供網路的可靠性，一般會採用裝置冗餘和鏈路冗餘，傳統架構由於成熟有加，財大氣粗，往往是兩種措施都採用。結果就是環路（圖中藍色圈，紅色圈）無處不在。二層網路處於一個廣播域下，又沒有TTL，無限迴圈之下，就會形成廣播風暴，瞬間導致埠阻塞和裝置癱瘓。
VLAN通過劃分VLAN來縮小廣播域規模來減小環路，STP（各種STP家族，俗稱xSTP）主要是切斷備份資料轉發減少環路，兩者結合，對於小二層（主機數量不超過1K）夠用了，但是大二層中，VLAN是縮小網路，天生和擴大網路相剋，xSTP的效能收斂（STP節點過多，網路收斂效能會成指數級下降）。
總體來說，傳統三層網路架構不支援大二層網路，大二層網路路在何方？
如何實現大二層網路
在最近十來年，很多人提出了大二層的網路解決方案，基本上都是圍繞著怎麼解決環路，總結歸納一下，總體有三個不同的思路
- 化繁為簡
- 坐二學三
- Overlay
化繁為簡
產生環路的原因是冗餘鏈路和冗餘裝置，樹形結構是沒有環路的。那麼有沒有什麼辦法在裝置、鏈路冗餘的基礎上又保持樹型網路的結構呢? 這樣既能保證可靠性，又天然無環。基於這樣的設想，簡單粗暴、直接有效的網路裝置虛擬化技術出現了。
TOR套餐模式：通過網路裝置虛擬化（多虛一）和鏈路聚合技術，簡化管理和物理配置，提高頻寬利用率，快速故障收斂和方便擴容。
EOR套餐模式：SVF，將不同網路層次、不同型別的交換機多虛一，通過縱向整合，網路簡化效果也非常明顯，結構更加簡明清晰。
缺點也很明顯：堆疊擴充套件性是有限度的，協議是廠家私有的。
坐二學三
仔細研究大二層網路的特點，總結的需求是：需要一個能支援足夠多的裝置，天生沒有環路，並且鏈路利用率很高的協議，來部署在我們這個大二層網路中。有沒有感覺，我們好像在哪兒見過，你記得嗎，記得那是一個夏天盛開如花。不是，錯了，是路由！具體點，內部閘道器協議不就是幹這個事情的嗎？
套餐模式：TRILL（ISIS親媽設計）/SPB 基本都是採用ISIS作為其控制螢幕協議進行拓撲學習計算，用MAC-in-MAC在區域內進行報文傳輸。
這兩個協議都都可以，詳細技術可以在後續專門講一下，在這就不展開介紹了。
缺點：關於TRILL和SPB，不同的廠商有這各自的支援，還在分派中。但是有一點是明確的，這些技術的部署和實施都是在網路裝置上進行的，與伺服器等IT設施無關這些CT廠家全程Cover，IT廠商只是個看客。
Overlay
Overlay通過用隧道封裝的方式，將源主機發出的原始二層報文封裝後在現有網路中進行透明傳輸，到達目的地之後再解封裝得到原始報文，轉發給目標主機，從而實現主機之間的二層通訊。
通過封裝和解封裝，相當於一個大二層網路疊加在現有的基礎網路之上，瞞天過海，暗度陳倉。
隧道封裝是很成熟的技術，比如最典型的GRE，就是把原始資料包文通過GRE封裝之後在三層網路中進行傳輸，從主機的角度來看，中間的三層網路是透明不可見的，也就相當於直接在源網路和目標網路之間直接拉了一根“光纖”！
但是，一般只能點對點建立隧道，如果有很多主機需要二層通訊的話，就要每兩臺主機之間都拉上“光纖”，頭大。既然“光纖”不行，那就上“二層交換機”！ 眾所周知，“二層交換機”是可以實現下掛主機之間相互二層通訊的，而且主機從“二層交換機”的一個埠遷移到另一個埠時，IP地址是可以保持不變的。這樣不就可以實現大二層網路的需求了嗎？
Overlay的典型技術主要有VXLAN、NVGRE、STT等，在本文中僅對VXLAN進行簡單的介紹。簡單說一下陣容最豪華的VXLAN技術，它是VMWare和CISCO提出的Overlay技術方案，目前在華為雲基礎IaaS網路資料面全部VXLAN化。簡單來說，VXLAN採用Mac in UDP的封裝方式，虛擬機器發出的資料包在VXLAN接入點（被稱為VTEP）加上VXLAN幀頭後再被封裝在UDP報頭中，並使用承載網路的IP/MAC地址作為外層頭進行封裝，承載網路只需要按照普通的二三層轉發流程進行轉發即可。
根據這個設計，是不是可以看出，VXLAN天然可以支援跨資料中心的大二層網路的。在這種架構下，無論VM是在本資料中心內遷移，還是跨資料中心遷移，都無需變更IP地址。
VXLAN技術VXLAN和NVGRE等技術是伺服器虛擬化的IT廠商主推的大二層網路技術方案，這也很好理解，對於VXLAN和NVGRE技術來說，報文的封裝/解封裝都是在伺服器內部的虛擬交換機vSwitch上進行的，外部網路只對封裝後的報文進行普通的二層交換和三層轉發，所以技術控制權都在IT廠商手裡，CT廠商就是一個路人看客了。但是當把Overlay網路的接入點部署在TOR等網路裝置上時，就需要網路裝置來完成VXLAN和NVGRE的報文封裝。一方面對於虛擬化的伺服器來說，網路裝置的效能還是要比vSwitch強很多的，用TOR等裝置來進行封裝，效能更好一些。 另外一方面，在TOR上部署Overlay接入點，也可以把非虛擬化的伺服器統一納入Overlay網路。CT和IT廠商的和諧共贏局面終於到來了。
後續關注
本文簡單了介紹了大二層網路的由來和基礎的大二層網路解決方案，在資料大集中的背景下，企業產生的資料量越來越大，資料的重要性也越來越高。出於災備、使用者就近接入、提升資源利用率等方面的考慮，在後期的文章中，會介紹跨資料中心的網路網際網路方案。
本文分享自華為雲社群《走近資料中心大二層網路》，原文作者：鼓瑟吹笙 。