Cable：360實現的新虛擬網路架構

前言

OpenStack架構中，Neutron作為虛擬網路模組，管理虛機的網路。隨著容器技術的發展，越來越多的應用部署到Kubernetes等容器編排系統中，而Kubernetes也有自帶的網路管理模組，如Flannel，Calico等。分別維護OpenStack、Kubernetes網路模組，不僅增加管理成本，且無法滿足虛機和容器網路互通等需求。為了統一管理不同編排系統的網路模組，簡化虛擬網路功能的開發流程，虛擬網路工作組實現了新的虛擬網路架構Cable。

需求背景

目前公司的虛擬網路架構有如下不足：

• 物理機、虛機和容器網路分開管理，無法達到直接互聯互通。
• Neutron agent裡的DHCP、metadata採用集中式服務，健壯性不足。
• vxlan實現時需要外部路由器的支援，較為複雜。

新的網路架構需要滿足統一管理物理機、虛機和容器網路，實現直接互聯互通；簡化Neutron agent，分散式架構實現DHCP、metadata等功能；在虛擬網路層面實現vxlan；提供流量映象等新功能。

方案實現

為了滿足上訴需求，Cable架構實現瞭如下兩個關鍵點：

1. 虛擬資料平面不再基於OVS，而是採用功能更為豐富虛擬路由器vrouter.ko。vrouter.ko是Juniper的虛擬網路架構OpenContrail中的開源資料模組。相比於OVS的簡單資料包轉發，vrouter.ko支援虛擬網路路由、vxlan、流表配置安全組、流表配置nat/snat、流量映象等功能。豐富的資料平面功能，簡化了網路功能模組的開發難度。
2. 重新自研開發管理平面。管理平面統一管理OpenStack和Kubernetes網路模組；採用Kubernetes裡的watch方式，主動監控平臺資源變化情況，並執行相關操作；分散式實現DHCP；用vrouter.ko中的flow功能實現nat、安全組等。

Cable的整體框架如圖1所示。

圖1 Cable整體框架圖

Cable工作流程如圖2所示。當使用者請求到達Neutron Server後，Contrail Neutron Plugin將請求轉發至Cable的控制節點(Control Node)。控制節點的proxy轉換請求傳送至API，API將接收到的請求傳送至相應模組，其中controller負責具體的計算和分配工作，IPAM模組負責網路地址的管理。每臺計算節點部署了Cable agent，通過Rest API監聽Control Node的資源，如監聽到資源變化，則呼叫vrouter.ko執行相應請求(新增/刪除/修改網路資訊)。

圖2 Cable工作流程

與OpenStack相容

Cable需要考慮如何與現有的虛擬網路結構相容，使得Neutron能夠平滑過渡到新的架構上。所以在保持Neutron原有介面不變的基礎上，將Neutron的db替換為etcd，並將DHCP-agent,metadata-agent,l3-agent替換為統一的cable-agent。將Neutron用Cable替代後，OpenStack的相關命令列和Restful API都沒有變化，實現無縫切換，方便運維管理。

圖3 Cable替代Nuetron後OpenStack架構圖

總結

新的虛擬網路架構，相容了不同網路平面，簡化了網路功能模組，使得網路更為健壯。目前Cable的整體架構已經基本開發完成，實現了DHCP、metadata和VLAN架構網路，後續將實現安全組、VXLAN等更多功能，並實現自動化部署，完善監控功能。

本文首發於微信公眾號“360技術“（ id: qihoo_tech）