Cable:360實現的新虛擬網路架構

weixin_33766168發表於2019-03-27

前言

OpenStack架構中,Neutron作為虛擬網路模組,管理虛機的網路。隨著容器技術的發展,越來越多的應用部署到Kubernetes等容器編排系統中,而Kubernetes也有自帶的網路管理模組,如Flannel,Calico等。分別維護OpenStack、Kubernetes網路模組,不僅增加管理成本,且無法滿足虛機和容器網路互通等需求。為了統一管理不同編排系統的網路模組,簡化虛擬網路功能的開發流程,虛擬網路工作組實現了新的虛擬網路架構Cable。

需求背景

目前公司的虛擬網路架構有如下不足:

  • 物理機、虛機和容器網路分開管理,無法達到直接互聯互通。
  • Neutron agent裡的DHCP、metadata採用集中式服務,健壯性不足。
  • vxlan實現時需要外部路由器的支援,較為複雜。

新的網路架構需要滿足統一管理物理機、虛機和容器網路,實現直接互聯互通;簡化Neutron agent,分散式架構實現DHCP、metadata等功能;在虛擬網路層面實現vxlan;提供流量映象等新功能。

方案實現

為了滿足上訴需求,Cable架構實現瞭如下兩個關鍵點:

  1. 虛擬資料平面不再基於OVS,而是採用功能更為豐富虛擬路由器vrouter.ko。vrouter.ko是Juniper的虛擬網路架構OpenContrail中的開源資料模組。相比於OVS的簡單資料包轉發,vrouter.ko支援虛擬網路路由、vxlan、流表配置安全組、流表配置nat/snat、流量映象等功能。豐富的資料平面功能,簡化了網路功能模組的開發難度。
  2. 重新自研開發管理平面。管理平面統一管理OpenStack和Kubernetes網路模組;採用Kubernetes裡的watch方式,主動監控平臺資源變化情況,並執行相關操作;分散式實現DHCP;用vrouter.ko中的flow功能實現nat、安全組等。

Cable的整體框架如圖1所示。

\"\"

圖1 Cable整體框架圖

Cable工作流程如圖2所示。當使用者請求到達Neutron Server後,Contrail Neutron Plugin將請求轉發至Cable的控制節點(Control Node)。控制節點的proxy轉換請求傳送至API,API將接收到的請求傳送至相應模組,其中controller負責具體的計算和分配工作,IPAM模組負責網路地址的管理。每臺計算節點部署了Cable agent,通過Rest API監聽Control Node的資源,如監聽到資源變化,則呼叫vrouter.ko執行相應請求(新增/刪除/修改網路資訊)。

\"\"

圖2 Cable工作流程

與OpenStack相容

Cable需要考慮如何與現有的虛擬網路結構相容,使得Neutron能夠平滑過渡到新的架構上。所以在保持Neutron原有介面不變的基礎上,將Neutron的db替換為etcd,並將DHCP-agent,metadata-agent,l3-agent替換為統一的cable-agent。將Neutron用Cable替代後,OpenStack的相關命令列和Restful API都沒有變化,實現無縫切換,方便運維管理。

\"\"

圖3 Cable替代Nuetron後OpenStack架構圖

總結

新的虛擬網路架構,相容了不同網路平面,簡化了網路功能模組,使得網路更為健壯。目前Cable的整體架構已經基本開發完成,實現了DHCP、metadata和VLAN架構網路,後續將實現安全組、VXLAN等更多功能,並實現自動化部署,完善監控功能。

本文首發於微信公眾號“360技術“( id: qihoo_tech)

相關文章