VMWare NSX安全生產和DMZ用例的詳細設計指南

z荒野求生發表於2020-10-28

VMWare NSX安全生產和DMZ用例的詳細設計指南

https://sivasankar.org/2018/2272/vmware-nsx-detailed-design-guide-for-secured-production-and-dmz-use-case/

十月5，2018 西瓦·桑卡（Siva Sankar） 0條留言設計，NSX，SDDC

VMWare為SDDC部署提供了經過驗證的出色設計。但是，大多陣列織都希望遵循VMWare制定的標準和最佳實踐來量身定製設計。對於願意適應SDDC的中小型企業，我們看到了對VMWare NSX設計的巨大需求。這篇文章旨在解決託管生產和DMZ工作負載分離的通用設計，同時利用NSX將提供的所有SDDC功能。

由於時間緊缺，人們不喜歡閱讀100冊設計指南，我真的建議您閱讀此處提供的指南。這篇文章旨在通過詳細的物理和連線設計全面瞭解SDDC及其要求。請注意，為了簡化起見，我僅在此設計中談論一個站點。

此設計可用作SDDC的低階設計，以節省您的時間和精力。

網路虛擬化架構

這是高階網路邏輯設計，其中一個叢集用於共享產品和NSX元件，另一個叢集用於DMZ。看著這個不要害怕。檢視所有設計圖和決策以獲得完整檢視。

NSX資料平面：
資料平面僅處理工作負載資料。資料通過物理網路中的指定傳輸網路承載。NSX邏輯交換機，分散式路由和分散式防火牆也在資料平面中實現。

NSX控制平面：
控制平面處理網路虛擬化控制訊息。控制訊息用於在NSX邏輯交換機例項上設定網路屬性，並在每個ESXi主機上配置和管理災難恢復和分散式防火牆元件。在與用於資料平面的傳輸網路隔離的安全物理網路（VLAN）上進行控制平面通訊。NSX管理平面：
網路虛擬業務流程發生在管理平面中。在這一層中，vRealize Automation等雲管理平臺可以請求，使用和銷燬虛擬工作負載的網路資源。雲管理平臺將請求定向到vCenter Server以建立和管理虛擬機器，並定向到NSX Manager以消耗網路資源。

NSX for vSphere要求

以下是元件及其計算要求。

伺服器元件	數量	位置	中央處理器	記憶體	儲存
平臺服務控制器	2	生產管理叢集	4	12	290
具有Update Manager的vCenter Server	1個	生產管理叢集	4	16	290
NSX Manager	1個	生產管理叢集	4	16	60
控制器	3	生產管理叢集	4	4	20
EDGE生產閘道器	4	生產管理叢集	2	2	512兆位元組
生產DLR控制VM（A / S）	2	生產管理叢集	1個	512兆位元組	512兆位元組
DMZ的EDGE閘道器	2	DMZ叢集	2	2	512兆位元組
DMZ DLR控制VM（A / S）	2	DMZ叢集	1個	512兆位元組	512兆位元組

IP子網要求

將在資料中心的物理L3裝置上建立用於管理和VTEPS的vLans。

10.20.10.0/24 – vCenter，NSX和控制器10.20.20.0/24 –
生產和DMZ ESXi Mgmt
10.20.30.0/24 –生產和DMZ vMotion
10.20.40.0/24 –生產VTEP vLan
10.20.70.0/24 – DMZ VTEP vLan

在VXLAN下方，將在NSX上建立子網，而NSX DLR將充當閘道器。

172.16.0.0/16 –生產VXLAN的
172.17.0.0/16 – DMZ VXLAN的

ESXi主機要求：

硬體與目標vSphere版本相容。（在此處檢視vmware相容性指南）
硬體至少要有12個或更多核心的2個CPU。（甚至8核也可以，但是現在市場上有22核可用）
如果vSAN也是Design min 6 x 10GB NIC卡的一部分，則至少需要4 x 10 GB NIC卡。（如果可能，請使用25 G或40 G連結）
每個主機中至少有128 GB RAM。（現在每臺主機幾天都配備2.5 TB RAM）。

物理設計

以下是物理ESXi主機設計。將所有Prod和DMZ放在單獨的機架中不是強制性的。這取決於要求和網路連線。

最少7臺主機，以支援共享管理，邊緣和生產工作負載叢集，以及至少4臺DMZ主機（我建議5臺）。

以下是一些主要的物理設計注意事項：

配置冗餘物理交換機以提高可用性。
配置ToR交換機以通過802.1Q中繼提供所有必需的VLAN。
NSX ECMP Edge裝置與第一個上游第3層裝置建立第3層路由鄰接關係，以為管理和工作負載流量提供等價的路由。
上游第3層裝置終止每個VLAN，並提供預設閘道器功能。
NSX不需要任何硬體供應商提供的網路級別的基本L2或L3功能。
儘管1600足以用於NSX，但在所有交換機埠上使用9000 MTU配置巨型幀。
生產和DMZ叢集的管理vDS上行鏈路都可以連線到相同的TOR交換機，但是可以按照要求使用單獨的vLans。對於Production和DMZ，僅邊緣上行鏈路需要分開，因為這將決定資料包流。

vCenter Design和叢集設計

建議使用NSX或外部負載平衡器來使一個具有2個PSC負載平衡的vCenter Single Signon域和一個vCenter Server將使用PSC的負載平衡VIP。

vCenter設計注意事項：

對於此設計，僅一個vCenter Server許可證就足夠了，但是如果您具有單獨的群集，則建議為mgmt和NSX工作負載群集使用單獨的vCenter。
一個單一登入域，帶有2個PSC負載，並通過NSX負載均衡器或外部負載均衡器進行了負載均衡。NSX負載平衡器配置指南在此處。
存在NSX Manager例項與vCenter Server例項之間的一對一對映。

如果您正在尋找vCenter設計和實施步驟，請單擊此處以獲取該帖子。

此設計將使用兩個群集。一個用於管理，邊緣和計算的群集，另一個用於DMZ工作負載和邊緣的群集。

生產叢集託管vCenter Server，vSphere Update Manager，NSX Manager和NSX Controller。
此共享的生產叢集還執行必需的NSX服務，以啟用SDDC租戶虛擬機器與外部網路之間的南北路由以及SDDC內部的東西向路由。
生產群集還託管Compute Workload將託管在SDDC租戶工作負載的同一群集中。
DMZ群集將託管DMZ工作負載以及DMZ邊緣和DLR控制VM。

VXLAN VTEP設計

VXLAN網路用於跨主機的第2層邏輯交換，跨越多個基礎第3層域。您可以在每個群集的基礎上配置VXLAN，在該群集中，您將要參與NSX的每個群集對映到vSphere Distributed Switch（VDS）。將群集對映到分散式交換機時，將為該群集中的每個主機啟用邏輯交換機。此處選擇的設定將用於建立VMkernel介面。
如果需要邏輯路由和交換，則在主機上安裝了NSX VIB的所有群集也應配置VXLAN傳輸引數。如果僅計劃部署分散式防火牆，則不需要配置VXLAN傳輸引數。
配置VXLAN網路時，必須提供vSphere Distributed Switch，VLAN ID，MTU大小，IP定址機制（DHCP或IP池）和NIC分組策略。
每個交換機的MTU必須設定為1550或更高。預設情況下，它設定為1600。如果vSphere Distributed Switch MTU的大小大於VXLAN MTU，則不會向下調整vSphere Distributed Switch MTU。如果將其設定為較低的值，則會對其進行調整以匹配VXLAN MTU。

VTEP的設計決策：

在網路交換機（9000 MTU）和VXLAN網路上也配置巨型幀。
每個伺服器至少使用兩個VTEPS，這將平衡VTEP負載。一些VM的流量將來自一個VM，其他VM的流量將來自另一個VM。
單獨的vLans將用於生產VTEP IP池和DMZ VTEP IP池。
單播複製模型對於中小型部署就足夠了。對於具有多個POD混合的大規模部署，建議使用。
在物理環境中無需為單播複製模型配置IGMP或其他配置。

生產叢集VTEP設計

如上所示，每個主機將配置兩個VTEP。這將根據配置VTEP時選擇的策略自動進行配置。

DMZ叢集VTEP設計

如上所示，每個主機將配置兩個VTEP。這將根據配置VTEP時選擇的策略自動進行配置。

運輸區設計

傳輸區域用於定義VXLAN覆蓋網路的範圍，並且可以跨越一個vCenter Server域中的一個或多個群集。可以在NSX for vSphere解決方案中配置一個或多個傳輸區域。運輸區域無意劃定安全邊界。

選項-01：兩個運輸區

將使用兩個運輸區，一個用於生產工作負載，另一個用於DMZ工作負載。

生產運輸區將具有生產共享叢集。
DMZ運輸區將擁有DMZ叢集。

選項-02：一個運輸區（推薦）

一個運輸區域將用於生產工作負載和DMZ工作負載。如果您僅針對一個災難恢復站點或輔助站點進行計劃，這將有所幫助，因為僅支援一個通用傳輸區，因此當移至輔助站點時，我們可以擁有一個通用TZ和兩個通用DLR，一個用於生產，一個用於災難恢復。

邏輯開關設計

NSX邏輯交換機建立租戶虛擬機器可以連線到的邏輯抽象段。單個邏輯交換機對映到唯一的VXLAN網段ID，並在傳輸區域內的ESXi虛擬機器管理程式中分佈。這種邏輯交換機配置為虛擬機器管理程式中的線速交換提供了支援，而不會產生VLAN蔓延或生成樹問題的約束。

邏輯開關名稱	數碼單反相機	運輸區
WEB層邏輯交換機。 APP層邏輯開關。 DB層邏輯交換機服務層邏輯交換機運輸邏輯開關	生產型DLR	生產運輸區
DMZ WEB邏輯交換機。 DMZ服務邏輯交換機 DMZ運輸邏輯交換機	DMZ DLR	DMZ運輸區

分散式交換機設計

vSphere Distributed Switch支援多個NIC分組選項。基於負載的NIC分組支援在鏈路故障的情況下最佳利用可用頻寬和冗餘。每個伺服器使用兩個10 GbE連線，並與一對頂部機架式交換機結合使用。802.1Q網路幹線可以支援少量的VLAN。例如，管理，儲存，VXLAN，vSphere Replication和vSphere vMotion流量。

在支援以下流量型別的物理交換機埠和分散式交換機埠組上，將MTU大小配置為至少9000位元組（巨型幀）。

虛擬SAN
vMotion
虛擬區域網
vSphere複製
NFS

物理交換基礎架構中支援兩種型別的QoS配置。

第2層QoS，也稱為服務等級（CoS）標記。
第3層QoS，也稱為差分服務程式碼點（DSCP）標記。

vSphere Distributed Switch支援CoS和DSCP標記。使用者可以根據流量型別或報文分類對流量進行標記。
當虛擬機器連線到基於VXLAN的邏輯交換機或網路時，內部資料包標頭中的QoS值將複製到VXLAN封裝的標頭中。這使外部物理網路可以根據外部標頭上的標籤對流量進行優先順序排序。

實物生產vDS設計

生產叢集將具有3個vDS。詳細的埠組資訊將在下面給出。

vDS-MGMT-PROD：託管管理vLan流量，VTEP流量和vMotion流量。
vDS-VSAN：如果使用vSAN，將用於vSAN。
vDS-EDGE：將用於南北交通的EDGE上行鏈路。（如果您沒有額外的10GB NIC，則也可以將prod vds用於邊緣埠組，但這會對效能產生影響）

港口組設計決策：

vDS-MGMT-PROD

埠組名稱	LB政策	上鍊	MTU
ESXi管理	基於物理NIC負載的路由	vmnic0，vmnic1	1500（預設）
管理	基於物理NIC負載的路由	vmnic0，vmnic1	1500（預設）
vMotion	基於物理NIC負載的路由	vmnic0，vmnic1	9000
VTEP	基於SRC-ID的路由	vmnic0，vmnic1	9000

虛擬專用網

埠組名稱	LB政策	上鍊	MTU
虛擬SAN	基於物理NIC負載的路由	vmnic2，vmnic3	9000
虛擬專用網	基於物理NIC負載的路由	vmnic2，vmnic3	9000

vDS-EDGE

埠組名稱	LB政策	上鍊	備註
ESG-Uplink-1-vlan-xx	基於原始虛擬埠的路由	vmnic4	1500（預設）
ESG-上行鏈路2-vlan-yy	基於原始虛擬埠的路由	vmnic5	1500（預設）

物理DMZ vDS設計

DMZ群集將具有3個vDS。詳細的埠組資訊將在下面給出。

vDS-MGMT-DMZ：託管管理vLan流量，VTEP流量和vMotion流量。
vDS-VSAN：如果使用vSAN，將用於vSAN。
vDS-DMZ-EDGE：將用於南北交通的EDGE上行鏈路。（如果您沒有額外的10GB NIC，則也可以將prod vds用於邊緣埠組，但這會對效能產生影響）

在大多數情況下，DMZ流量會減少，因此您也可以將EDGE上行鏈路與1G埠一起使用，但這再次取決於DMZ中部署的工作負載。

港口組設計決策：

vDS-MGMT-DMZ

埠組名稱	LB政策	上鍊	MTU
ESXi管理	基於物理NIC負載的路由	vmnic0，vmnic1	1500（預設）
管理	基於物理NIC負載的路由	vmnic0，vmnic1	1500（預設）
vMotion	基於物理NIC負載的路由	vmnic0，vmnic1	9000
VTEP	基於SRC-ID的路由	vmnic0，vmnic1	9000

虛擬專用網

埠組名稱	LB政策	上鍊	MTU
虛擬SAN	基於物理NIC負載的路由	vmnic2，vmnic3	9000
虛擬專用網	基於物理NIC負載的路由	vmnic2，vmnic3	9000

vDS-DMZ-EDGE

DMZ中埠組的數量取決於下一跳L3裝置。如果我們有防火牆，則只能使用一個埠組，因為防火牆在大多數情況下總是以主動被動模式工作。如果您有與DMZ防火牆不同的L3裝置。您將在生產中有兩個上行鏈路。

埠組名稱	LB政策	上鍊	備註
ESG-Uplink-1-vlan-xx	基於原始虛擬埠的路由	vmnic4	1500（預設）

控制窗格和路由設計

控制平面將NSX for vSphere與物理網路分離，並處理邏輯交換機內的廣播，未知單播和多播（BUM）通訊。控制平面在傳輸區域的頂部，並由在其中建立的所有邏輯交換機繼承。

分散式邏輯路由器：
NSX for vSphere中的分散式邏輯路由器（DLR）在虛擬空間（VM之間，在VXLAN支援的埠組上）中執行路由操作。

DLR限於1,000個邏輯介面。如果達到該限制，則必須部署新的DLR。

指定例項：
指定例項負責解析VLAN LIF上的ARP。每個VLAN LIF有一個指定的例項。ESXi主機作為指定例項的選擇由NSX Controller群集自動執行，並且該資訊將推送到所有其他ESXi主機。由同一子網上的分散式邏輯路由器傳送的任何ARP請求均由同一ESXi主機處理。如果ESXi主機發生故障，控制器將選擇一個新的ESXi主機作為指定例項，並使該資訊可用於其他ESXi主機。使用者世界代理：
User World Agent（UWA）是一個TCP和SSL客戶端，它支援ESXi主機與NSX Controller節點之間的通訊，以及通過與訊息匯流排代理的互動從NSX Manager檢索資訊。邊緣服務閘道器：
雖然DLR提供VM到VM或東西向路由，但NSX Edge服務閘道器通過與機架式交換機的上游頂部建立對等關係來提供南北連線，從而使租戶能夠訪問公共網路。

EDGE和DLR的一些重要設計注意事項。

提供ECMP服務的ESG，需要禁用防火牆。
在用於南北路由的ECMP配置中至少部署兩個NSX Edge服務閘道器（ESG）
在啟用了ECMP的邊緣上為UDLR和DLR之後的子網建立一條或多條靜態路由，其管理成本比動態學習的路由高。
- 提示：如果在UDLR或DLR後面新增了任何新子網，則必須在ECMP邊緣上更新路由。
Graceful Restart維護轉發表，即使BGP / OSPF計時器到期導致流量丟失，轉發表也將轉發資料包到故障鄰居。
- FIX：在所有ECMP Edge上禁用正常重啟。
- 注意：應在DLR控制虛擬機器上選擇正常重啟，因為即使控制虛擬機器關閉，它也將有助於維護資料路徑。請注意DLR控制元件VM不在資料路徑中，但是EDGE將位於資料路徑中。
如果活動的邏輯路由器控制虛擬機器和ECMP邊緣位於同一主機上，並且該主機發生故障，則路由表中將出現死路徑，直到備用邏輯路由器控制虛擬機器開始其路由過程並更新路由表。
- FIX：為避免這種情況，請建立反關聯性規則，並確保您有足夠的主機來容忍主動/被動控制VM的故障。

生產工藝設計