愛奇藝微服務監控的探索與實踐

經過一年多的野蠻生長，資訊流團隊微服務發展快速，人均負責5個微服務以上，為了全面瞭解每個微服務執行情況，第一時間感知微服務異常，快速定位線上問題，提高運維效率，微服務建設初期我們嘗試了多種監控方案。

日誌監控

Hystrix監控

很長一段時間Hystrix是服務熔斷降級監控的代名詞，Spring Cloud應用中使用hystrix極致易用，從低成本埋點，到配置動態調整，再到原生的視覺化Dashboard，使用成本都很低。缺點是，指標資料原生沒有持久化，二次開發有一定成本。

撥測監控

對於面向使用者的服務，使用者所處網路，地域差異性很大，應用本身可用不代表使用者可以正常使用服務，這就需要從使用者角度，對服務可用性進行定時撥測。

鏈路監控

鏈路監控既可用於呼叫鏈路分析，快速定位具體問題，又可用於梳理服務拓撲結構和依賴合理性，是微服務監控必不可少的一環。

演進&實踐

如上所述，我們在微服務監控建設初期嘗試了多種監控方案，實現了不同場景下的監控需求，也遇到了新的問題。概括起來，有以下幾個：

• 缺少對監控項的統一認知和定義

• 重複性埋點配置工作，監控成本高

• 各種監控方案簡單組合，視覺化分散，報警不統一

比如，每新增一個監控指標，需要把接入，埋點，視覺化，報警，從頭來一遍，隨著微服務和指標增加，這種重複性工作嚴重製約了監控體系的推廣落地。特別是metrics監控，指標繁雜，維度多變，應用廣泛。

監控模型

定製擴充套件

自動接入&埋點

前期我們嘗試了多種監控方案，發現能夠順利推廣落地的，都有一個共同點，就是服務接入監控的成本很低。最好是不要求應用做任何改動，就可以自動接入，享受監控系統帶來的便利。為此我們做了以下工作：

• 每個服務引入sdk自動完成通用指標（Http請求，JVM指標等）採集，並暴露指標拉取端點

• 每個服務自動註冊到Eureka註冊中心

• Eureka增加Adapter，提供監控系統可識別的介面方法

• 監控系統從註冊中心，自動發現要監控的服務例項列表

• 監控系統定期從服務指標端點拉取監控資料

很多情況下，需要對某些業務方法耗時進行監控，傳統的埋點方式是在方法入口和出口新增監控程式碼，業務程式碼侵入高，開發成本高。

PUSH模式擴充套件

如前所述，Prometheus是用PULL模式獲取應用埋點資料，但是有的場景下PULL模式並不適用（比如短生命週期的任務），因此我們基於Prometheus提供的Pushgateway元件，實現PUSH模式獲取監控埋點資料。

集中視覺化

不同的監控系統，往往會提供不同的視覺化方案。分散的視覺化，不利於監控資料的集中展示和全域性問題分析。我們使用Grafana實現所有微服務，所有指標的集中視覺化。

• 維度篩選模組

• JVM和系統指標模組

• 入口流量機房分佈&狀態碼&QPS&響應延時模組

• 方法監控指標模組

統一報警

以上所述，愛奇藝資訊流監控整體方案總結如下。

• 監控物件既包括常駐程式微服務，也包括短生命週期的非常駐程式。

• 指標獲取方式既可以基於Prometheus實時拉取，也可以基於Venus日誌收集，前者用於指標實時獲取，保證監控報警時效性，後者記錄詳細日誌，用於具體問題排查和鏈路分析。

• 監控維度從4個維度監控應用：

1. Metrics監控宏觀上檢測系統QPS，響應耗時，錯誤率和資源利用率；

2. 撥測監控從使用者角度監控服務可用性；

3. 鏈路監控提供單個請求完整生命週期的跟蹤路徑，專門應對微服務架構帶來的分散式呼叫複雜性；

4. 日誌查詢提供應用監控最精細化的資訊，用於具體問題排障。

• 集中管理，集中視覺化和統一報警管理，在最上面一層，便於排查問題時全面快速獲取應用所有監控報警資訊。另外，微服務監控的統一認知和必要的流程規範，貫穿監控系統落地始終。

總結&規劃

1. 簡單有效。簡單有效是評測監控系統好壞的最高準則，埋點是否簡單甚至可省去，是否存在重複性的配置工作，都會影響監控方案能否最終落地推廣。好的監控方案一定是，沒有故障時，開發人員無感知，出現故障時，想看的指標都能拿到。

2. 整合定製。業界和公司提供了固定場景下的監控框架和方案，基於這些成熟的方案和基礎設施，會大大減少監控系統建設投入；另一方面，必要的定製開發封裝，會進一步推動自動化監控落地。

3. 集中管理。考慮監控指標的多樣性（系統，應用，業務等），不同監控方案關注點不同，指標埋點，收集，獲取未必僅用一套，但是視覺化應該儘可能集中，方便統一管理和全域性分析。

4. 流程規範。微服務監控不是一個人或少數幾個人的事，也不應該微服務上線後才被關注，它需要每位微服務owner，從編碼，甚至設計階段，就要考慮監控指標和維度。為了減少監控帶來的額外負擔，保障落地效果，必要的流程規範和分享培訓是必要的。