淘寶如何保障業務穩定性——諾亞(Noah)自適應流控

隨著業務的不斷髮展，應用數量、拓撲依賴與複雜性都在持續增長，流量模型的有效預測也變得更加困難。系統與流量的不確定性都會導致系統容量評估疏漏或評估過時。這些情況在雙11、春晚等大型複雜活動中會更加的突顯。

流量會受到業務的影響而發生強變化的，這種變化是不確定的且在頻繁發生的。

應對這種不確定性需要基礎架構有可靠的、自適應的方式，能夠

• 實時接受與感知變化

• 作出保護響應來抵禦變化，自適應的、柔性的實施系統/架構

• 然後是彈性，針對基礎資源做實時調節

這樣才能具備有效的抵抗力、適應力，活著是前提，有了這個前提，才有機會將基礎資源驅動起來（彈性），而業務無需耗費心力去關注這種不確定性帶來的業務可用性風險。

業界在討論高可用時，主要說的是資源失效的對應方式，比如透過應用叢集、主備、熱切換等應對單機失效；透過單元化架構、異地多活等應對單機房/地域失效。

從上面對資源失效的問題與對策可以看出，高可用所要解決的核心問題是保證服務不掛，準確的說是要大大降低服務掛掉的機率。

到了今天我們的應用架構，我們的可用性痛點問題是什麼呢？對於你自己開發的應用，或聽到某某服務掛了時，你會擔心或者想到什麼？在可用性方面，相信更多的回答會是『服務壓跨了』，典型的是問題場景是『大流量、突發流量』下，比如：直播場景中主播一聲吼，後端流量飆升；社交媒體場景中明星官宣結婚，帶來熱點流量暴漲；電商運營場景中，秒殺活動大流量脈衝；互動玩法場景中持續不斷髮布互動活動，一個新的活動導致系統整體可支撐的QPS可能下降很多。這些場景與問題在日常應用開發和服務保障過程中，應該是深有痛點吧 :)

在應用架構上，業界對面向流量的可用性，不如像面向資源一樣得到充分的關注、有著豐富成熟的思路和廣泛有效的實踐，我們有意於改變 面向流量的可用性 這個主題的現狀，更多的直面問題、探索思路、實踐推進。

面向流量的可用性現有的應對方式是靜態限流。

傳統的針對 QPS 限制的靜態限流方法的問題：

• 流量/請求

  • 依賴 請求模型的準確評估，即測試流量的請求大小與實際需保持一致。
    熱點流量，如熱點使用者被頻繁訪問/爆冷商品等。運營導致使用者動線走了較重的邏輯分支。

  • 依賴 來的流量的準確預估。
    但我們要承認，流量一定無法準確被評估，系統會被摸死（即拒絕操作導致的過載）。

• 業務程式碼邏輯

  • 依賴 測試之後系統自身和其下游依賴的邏輯不變，效能需保持一致。
    但是業務總是在演進，除非全網封網，否則限流閾值一上線就已經過時了。

• 資源

  • 依賴 各臺機器效能完全一致且穩定不變。

  • 機器型號不同，處理能力是不可能做到完全一致的。

  • 虛擬化/容器化之間有影響，你無法控制你的鄰居會做什麼。

• 流程

  • 依賴 事先人工準確執行了評估過程
    但人總是靠不住的，只要人工來執行就一定會疏漏、出錯。

  • 另外對於長尾應用/非核心應用，支援力度沒有保障，人力資源總是有限的。

傳統方法無法解決人工評估過時導致的流量與容量不一致的問題，我們需要一種能夠實時評估系統容量，並就地對流量進行控制的解決方案。

諾亞(Noah)自適應流控解決方案

在絕大部分情況下，CPU利用率作為資源供給的主要訊號是最為直接的。諾亞(Noah) 自適應流控解決方案即是以自動控制CPU資源為核心方法的，其具備了一下3點優勢：

1. 在系統穩定性控制效果方面表現為精準和有效的控制，並具備很強的可解釋性。

2. 沒有提前的人工評估，便沒有提前評估的過時與人工評估的疏漏和錯誤。

3. 應用場景更為廣泛，不受非同步場景約束，可同時使用於同步和非同步場景。

諾亞(Noah) 自適應流控解決方案能夠實時自動評估 QPS ，在技術方案上使用自適應性來解決業務流量的不確定性。

作為淘寶應用架構升級（代號Tango：Taobao Architecture Next GeneratiOn）在穩定性上的核心產品，諾亞(Noah)在剛剛過去的雙11大促過程中，保障大量業務應用系統，有超過15K的容器大規模部署（涉及淘寶、天貓、聚划算、盒馬、貓超、優酷等等眾多業務）。提升系統穩定性、提升資源利用率、最佳化體驗與效率，提升了淘系(及更多BU)的穩定性底盤，成為應用穩定性保障的核心能力，推動了業界在大型分散式線上業務系統的高可用/穩定性保障的進展。

諾亞(Noah) 自適應流控解決方案目前已上線超過9個月，線上上實戰和全鏈路壓測中，諾亞保護了大促會場、直播、導購等等核心業務場景；應用系統在出現容量缺失30%或近20倍超大流量脈衝場景下仍保持穩定執行。

諾亞(Noah)自適應流控的效果收益：

• 可用性提升

  • 壓垮QPS上限，最高可提升 20倍 於業務負載流量。

  • 在大流量壓力下降後，1秒 快速恢復服務。

  • 大流量壓力下，僅需直接擴容機器 一步即可，無需緊急調整限流。

• 使用者體驗的最佳化

  • 應用在高負載情況下，服務成功率最高可提升 2.7倍，同時響應時間維持正常水平不劣化。

• 成本的最佳化

  • 資源利用率最高可提升 100%（去除為了穩定性/不確定性而留的資源冗餘）

• 效率提升

  • 全鏈路壓測/效能壓測更順暢。無需人工限流閾值設定，避免人工評估錯誤導致系統被壓垮後需要大量調整時間。

對未來更體系化建設的幾點展望：

• 自適應能力由限流擴充到隔離/熔斷等更多穩定效能力，如

  • 自適應執行緒資源隔離

  • 自適應服務比例

  • 自適應服務熔斷 

    
    

• 由單機的自適應限流擴充到鏈路級，尤其是客戶端流量入口接入層

  • 與接入層協同，讓入口流量與應用的處理容量自適應匹配

  • 確定性地保障面向流量的高可用

    
    

• 自適應控制流量擴充到自適應伸縮容

  • 流量控制與處理資源控制（伸縮容）協同

  • 無論是流量的控制還是資源的控制，都是為了讓處理流量與資源容量匹配

    
    

• 保障系統不過載，提升穩定性與業務請求的成功率