阿里巴巴IPv6應用平臺引領下一代網際網路

許此一生發表於2018-12-06

摘要: 據預測,到2020年底我國IPv6終端裝置將達到5億,正在快速取代IPv4。阿里巴巴網路架構師張先國先生在2018 年GNTC 大會IPv6 專場上分享IPv6應用集團業務(支付寶、淘寶、天貓等)的改造經驗,及賦能企業(政企門戶、廣電傳媒、視訊網站)快速升級IPv6 基礎設施的演進步驟。

在11月15日的GNTC IPv6專場峰會上,阿里巴巴網路架構師張先國先生首先分享了“阿里巴巴IPv6應用平臺引領下一代網際網路”主題演講。演講中講述了阿里巴巴為何儘早啟動IPv6專案、阿里巴巴PV6應用平臺實踐、以及阿里巴巴五大應用及集團各種平臺如何構建在阿里雲平臺之上。

  • GNTC大會背景
    GNTC 作為全球規模最大的網路技術盛會之一,是由下一代網際網路國家工程中心主辦,南京市江北新區等單位支援,2018年11月14日-16日在南京火熱開幕。本屆GNTC通過2場全體大會、7場技術峰會、1場測試活動及GNTC Awards頒獎典禮等特別活動,彙集來自20個國家、50餘個國際組織、150多位技術專家,2000+位現場觀眾。

阿里巴巴網路架構高階專家 張先國
_1

以下為大家收錄張先國演講摘要:

阿里巴巴在2017年6月份就開始啟動IPv6專案,主要原因:1)當時全球有5億以上的IPv6活躍使用者,分佈在印度、美國、日本、歐洲這些國家,甚至東南亞也開始了增長。截至現在中國,移動端的IPv6終端已經達到了5億。2)未來五年以內將有500億的物聯網終端進入網際網路,如此大體量是IPv4無法支撐的。3)5G正在快速普及,其高頻寬、低時延、海量接入的特點,無法繼續使用地址轉換、會話保持、單向訪問的技術。

  • 目前IPv6 專案改造進展和成果:
  1. 2018年雙十一:阿里巴巴的當天交易額總數是2135億,交易峰值每秒49萬筆,淘寶背後有IPv6支撐全棧業務。IPv6的好處是,過去從服務端只能看到使用者的家庭閘道器或者4G閘道器,也缺少很多大資料。採用IPv6繞過NAT,可以直接看到終端使用者,進行精準分析和服務。
  2. 高德:導航能力非常專業準確,是DAU過億的應用,雙十一之前抓IPv6 使用者訪問圖,一週資料每天早晚高峰服務非常平順,IPv6在4G或者3G訊號比漫遊強,體驗非常流暢。
  3. 優酷:日活過億的應用,世界盃期間就開始了IPv6直播,阿里巴巴採用了IPv6的應用加速技術,讓使用者的觀看更加流暢,因為省去了NAT轉換流程,並且全國IPv6的網路是非常通暢的。
  • 總體業務架構與面臨挑戰:

阿里巴巴總體的IPv6總體業務架構分為接入層網際網路和應用。接入層大多知名品牌終端支援了IPv6。移動端訪問運營商的網際網路,然後進入阿里巴巴的資料中心。應用側包括三層,網路、雲、應用。基礎網路包括接入網、骨幹網、IDC網路、閘道器、伺服器;另外就是雲平臺、雲網路包括阿里巴巴的一些安全系統,CDN、DNS、SLB等,這兩層之上是阿里巴巴改造的五大應用,執行在雲平臺之上。
_2

這其中面臨的挑戰包含:1)阿里巴巴對接運營商比較複雜,因為在全國多個地域要開通IPv6,而早期網路對接是不成熟的,到目前為止還有一些問題正在排查解決優化。2)投資量大,因為大量的網路裝置是過去的積累,阿里基礎設施有上百萬臺伺服器,涉及到總的硬體投資大概有幾百億以上。3)工作量大,因為涉及到變更、替換、升級,數百臺的裝置,數千條鏈路割接,還有大量的運營工作。

  • 在網路架構方面,從外向內有五層網路,接入-廣域-城域-應用網路-DCN網路,內網從雙棧向IPv6 only演進,在這演進過程中,阿里巴巴在這個網路的升級演進過程相當於開著飛機換引擎,成本及穩定性成為兩大挑戰。另外就是技術方面的挑戰,包含路由爆表、安全規則資源不足、管控適配等等。
    _3
  • 在電商業務架構方面,首先移動端PC端都是採用統一接入,可以讓使用者體驗更好,一次連線可以訪問所有的模組,包括天貓超市、餓了麼這些業務。但是IPv6演進也帶來一些業務風險,包含600個以上的應用及5億以上使用者逐步切換到IPv6的過程以及面臨DDoS攻擊等風險。
  • 在應用體驗方面,因為阿里巴巴IPv6網路今年開始大規模的建設改造,包括運營商網路和企業的網路都是這樣,這個網路是不成熟的,也有大量的連線失敗率,及較高的網路延時。另外回落時間過長,還有大量的MTU導致的丟包問題,對網路應用都是一個挑戰。

基於以上問題及挑戰,阿里巴巴也逐漸發展瞭解決方案。阿里巴巴的網路優化方案分成三個層面:1)物理網路的覆蓋 2)自研虛擬網路平臺 3)應用排程三個領域。

  • 在物理網路方面,阿里在全國超過20個IDC已經支援了IPv6,頻寬每個區域出口達到了2T以上的頻寬,北京、上海、深圳等等出口都超過了2個T。另外CDN在全國各地實現了IPv6的應用加速,可以保證更優質的業務體驗。此外,阿里巴巴透過全國各地的探測系統、移動端APP實時發現使用者質量問題,把這些質量資料問題送給網路大腦--活水,活水系統會把這些資訊進行大資料分析,分析之後傳送給控制器,再進行網路層排程和應用層的排程,包括SRTE網路排程、BGP路由排程,以及應用層DNS方案排程,加上有多個運營商出口,進行同城多出口的排程,也可以進行異地的排程。
  • 在虛擬網路技術平臺方面,以下這張圖是阿里巴巴自研的一套網路平臺,左邊是轉發層面業務,右邊是管控層面系統。主要核心技術包含右邊的Netframe轉發支撐平臺,擁有400G級IPv6的轉發能力,另外就是AliBGP,實現跨廠商路由協議對接,解決了多廠商相容性的問題;最後是AliGuard可以提供一個T能力的抗攻擊能力,有效的防禦黑產的攻擊。
    _5
  • 在應用鏈路和網路方面,應用層大概分三步,首先左側是APP移動端:
  1. 進行DNS解析,包括PC端方案和移動端的解析方案
  2. 地址解析到靜態加速一個域名,可以進行靜態頁面或者圖片視訊載入,這就指向CDN服務。
  3. 動態業務請求服務指向阿里巴巴的VIP,實現雲上負載均衡。

_6

當後端的業務需要客戶的原始IP時,採用TOA攜帶使用者原始的IP,流轉到阿里巴巴的Proxy,把IP資訊插入HttpHeader,攜帶原始IP傳遞給後端Nginx,可通過X-Forwarded-For方法獲取real-IP。

  • 在應用排程能力方面,因為阿里巴巴有大量應用都是日活超過一億的,所以必須漸進式切換到IPv6,有兩個方案:
  1. PC端或者瀏覽器端:
    域名請求先走到本地的運營商一般是本省,再向阿里雲權威DNS。阿里雲DNS能提供高達1T抗攻擊能力的DNS服務,目前承載了全國1200萬域名服務系統,並在全球18個region部署了Anycast技術。標準DNS也有缺點,因為排程是按省份,一個省全切上去,風險較大,生效較慢。
  2. 移動端HttpDNS:
    需要在終端的APP嵌入SDK,需要域名解析的時候,終端通過Http協議請求,這樣就繞過了傳統Local DNS解析過程。有幾個好處:a)域名精準排程,可以按照更細的百分比,而且還可以加灰度白名單,控制測試使用者先上一些IPv6。b)域名防劫持,以前的標準DNS走UDP協議很容易被劫持,HTTP DNS很難被劫持或者是攻擊。c)域名變更比以前快了很多,過去是五分鐘生效,現在是秒級生效。

_7

總結整個阿里巴巴五大應用和各種平臺,都是構建在阿里的雲這個平臺之上包括計算、儲存、網路、資料庫安全,阿里大體量的應用在一年不到的時間內就可以實現上線的程度,原因是依賴了已經構建好的阿里雲平臺,雲網路。阿里雲IPv6產品和方案已經服務了200個行業的場景。

IPv6專案是一個冷啟動的專案,今年在國家政策推動下加速,各個領域都沒有準備好,阿里之所以快了一點,早在去年就開始投入。人類智慧發展之所以這麼快,是因為構建在別人的肩膀之上,應用的演進也是這樣的,希望大家可以把自己的應用平臺,構建在雲端計算的平臺之上,實現更快的升級迭代。


相關文章