網易雲首倡中臺方法論,釋出全鏈路中臺技術方案

網易雲發表於2019-07-27

當前數字經濟領域最受關注的技術趨勢當屬中臺,到底中臺對企業發展的意義何在,企業應當如何建設中臺?

7 月 26 日,網易雲在本屆雲創峰會上給出了完整的答案,從組織、技術、方法論的角度系統闡述了網易杭州研究院的中臺實踐與成果,併發布了全鏈路大資料產品和輕舟微服務產品,分別為企業構建資料中臺和線上業務中臺提供完整的技術和方法論支援。

在主題演講中,網易副總裁、網易杭州研究院執行院長汪源首次介紹了網易對中臺的理解,他表示:

“中臺的本質是業務能力的沉澱,它對於企業提高需求響應、降低定製成本、實現彈性穩定、實現系統互通、提升運營效率和降低資源成本具有獨特的優勢,而中臺的成功建設,需要組織、技術和相應的方法論的支撐,同時由於業務的複雜性,企業往往還需要藉助專業的諮詢服務,才能順利建設中臺。”

據悉,網易是業界唯一通過設立研究院專職培育創新業務的公司,網易杭州研究院(以下簡稱杭研)同時肩負著能力沉澱和業務創新兩大職能,成功孵化了網易考拉、網易嚴選、網易雲音樂、網易雲等業務。由於發展的業務眾多,杭研天然具備建設各種共效能力的訴求,很多能力自然而然就建設成了中臺的形式。汪源認為,這些能力(中臺)的沉澱,能夠幫助企業駕馭雲端計算、微服務、大資料、人工智慧和物聯網等技術革新成果,並形成核聚變的能量,促進企業數字化創新,推動產業發展乃至社會經濟升級。

網易雲首倡中臺方法論,釋出全鏈路中臺技術方案

圖:網易副總裁、網易杭州研究院執行院長 汪源

明晰中臺內涵與實踐路徑,首提技術核聚變

隨著 IoT 將網際網路能力延伸到生產端,例如基於 IoT 的網易疾風工業智慧平臺讓工業企業解決生產管理頑疾,企業對新技術、新資料價值的挖掘愈發期待,中臺的價值也被更多企業關注。在國內,一些原本的平臺,也隨之搖身一變成了所謂的技術中臺、演算法中臺、移動中臺、研發中臺,汪源將之稱為“中臺亂象”,他表示,中臺必須具備業務屬性,沒有業務屬性的,即使支撐多個前臺業務,比如一堆技術元件,也只是平臺而不是中臺。在汪源看來,所有的中臺都是業務中臺,資料中臺是業務中臺的特殊形式,而使用者中臺、內容中臺則是資料中臺的特殊形式。

由於當前數字技術革新很快,明確技術概念的職責與內涵,對技術專案的成功實踐至關重要。中臺也是如此,如果概念過於寬泛,或者混淆,企業容易對中臺失去信心,從而在數字化創新中錯失良機。汪源的梳理,為企業對中臺的判斷提供了直觀的標準。“網易除了有能力,也有責任來分享中臺經驗。”汪源說。

對於中臺的建設,汪源認為,組織、技術和方法論三者不可或缺。從組織的角度,他認為,中臺需要整合資源,讓懂業務的人蔘與,其次,在 BU、BG、企業、集團各個層次都可以建設中臺,但必須是各層次的一把手工程,否則難以調配資源。

技術層面,建設線上業務中臺需要微服務、DevOps、分散式事務和雲原生技術體系的支撐,建設資料中臺則需要指標管理、資料服務、後設資料管理、資料倉儲開發與管理、資料質量管理、資料安全管理、資料資產管理,以及大資料計算引擎、資料整合/同步/交換引擎、敏捷 BI 系統等一整套典型的支撐技術。

作為能力的沉澱,除了工具,中臺無疑需要流程/規範/方法論。目前業界存在許多相關的方法論,如六邊形理論、領域驅動設計(DDD)、指標設計方法論等,但大都與技術相關,在中臺組織層面尚無成熟的方法論。基於杭研的實踐經驗,汪源在業界首次提出了一套完整的中臺組織方法論。

根據參與人員的差異,汪源把不同型別的組織總結為“胖中臺組織”、“標準中臺組織”和“平臺組織”——標準中臺組織由各個能力組和工具、規範/流程/方法論組成;當標準中臺組織對業務的介入程度不足以支撐中臺的實現,就需要更加接近業務的定向組來參與,這就形成了胖中臺組織;而能力臻於成熟,工具、流程都實現標準化,標準中臺組織也可以退化成平臺組織。換言之,三個角色並非一成不變,而是處在動態變化之中。事實上,不僅僅是杭研,很多大型網際網路公司都或多或少經歷過類似的重組。與會者認為,中臺組織方法論的梳理,為中颱組織的建設和未來撥開了迷霧。

對於中臺的發展,汪源還總結了一個“數字技術核聚變”的模型。他表示:資料中臺匯聚和整合業務資料,產生洞察指導業務創新,線上業務中臺支撐業務圍繞領域交匯,不斷引入新技術,創造新資料,為資料資產增值裂變提供動力支援,資料中臺和線上業務中臺共生共存,形成數字技術核聚變的巨大能量,推動產業跳躍式進化。

全鏈路大資料產品釋出,資料中臺可實現 100% 標籤覆蓋

為了全面支撐企業資料中臺建設,為業務應用提供統一的資料和服務,網易釋出了全鏈路大資料產品——網易猛獁 6.0。網易大資料總經理餘利華分享了一個真實的客戶案例:某客戶在供應鏈系統、VIP App 和商品運營系統中看到的同一款產品毛利分別是32%、28%、38% 三個迥然不同的數字,這給資料分析工作造成了極大的困惑。餘利華指出,目前企業在大資料實踐中存在指標口徑不一致、資料重複建設、取數效率低、資料質量故障頻繁、成本指數級增長等五大痛點,這導致了企業80%的工作都與資料分析無關,而資料中臺就是瓦解這一癥結的良方。

網易雲首倡中臺方法論,釋出全鏈路中臺技術方案

圖:網易大資料總經理 餘利華

網易大資料此次釋出的猛獁 6.0,在此前的 Hadoop、資料整合、任務運維、實時開發、離線開發產品基礎上,新增了指標系統、資料服務、資料地圖、資料質量中心、資產管理中心、資料倉儲開發與管理等全新的系統,這就實現了資料中臺的全鏈路打通,實現全鏈路資料質量監控、全鏈路資料資產分析、全鏈路資料發現。

這些系統的能力,以指標系統為例,猛獁 6.0 能夠 100% 消除指標口徑不一致,讓指標數量縮減 50%,並且理解一個指標的含義的時間縮短80%。

而據汪源介紹,猛獁 6.0 已經成功應用於網易考拉等業務,通過資料中臺的建設,實現了 100% 的資料產品指標覆蓋、99.8% 的資料可用率、100% 的自助取數和 20% 的成本節省。

“有了全鏈路大資料產品,企業可以將 80% 的工作投入商業分析,直接產生業務價值,而資料開發、資料治理只需佔用 20% 的工作量。”餘利華總結說。

輕舟微服務平臺升級,突破線上業務中臺的異構挑戰

線上業務中臺有助於業務能力複用、加速業務創新和促進數字化轉型。現實的問題是,資訊隔離、資料隔離等因素,阻礙著線上業務中臺的建設。網易雲基礎服務總經理陳諤認為,異構系統整合,包括相容、通訊和系統間事務一致性,和多供應商建設,包括多團隊協作、軟體資產沉澱,是目前企業在建設線上業務中臺過程中遇到的最大障礙,而網易輕舟微服務新品的釋出,正是要通過 Service Mesh、分散式事務框架 GTXS、全新 API 閘道器與原有輕舟產品的整合,完成全棧化線上中臺技術體系升級,幫助企業完成業務架構的進化,支撐業務快速創新。

網易雲首倡中臺方法論,釋出全鏈路中臺技術方案

圖:網易雲基礎服務總經理 陳諤

陳諤介紹,輕舟 Service Mesh 基於 CNCF(雲原生計算基金會)的 Istio 和 Envoy 等主流開源技術構建,可以實現 Java、Python、NodeJS、Golang 和 PHP 等不同技術棧的相容和通訊,能夠與已有微服務框架 NSF 統一管控、互相發現、互相呼叫,並且支援容器、虛擬機器和裸機部署,將異構系統的支援實現到了業界領先的程度。在效能方面,輕舟 Service Mesh 也實現了時延降低 50% 的優化效果,以便更好地滿足線上業務的使用者體驗。GTXS 則通過宣告式事務框架,實現了對開發人員更加友好的分散式事務方案,保證了不同微服務的資料一致性,與常用的 TCC 模式相比,接入效率提升了 85%,目前已在工商銀行、網易嚴選等大型生產環境中穩定執行。

據汪源介紹,在網易內部,通過電商、音樂等線上業務中臺的建設,實現了需求響應效率提升 100%、應用部署效率提升 280%、軟體產品質量提升 52% 的效果,其中電商應用日均部署 1374 次,音樂應用日均部署 492 次。

為了確保這些複雜技術在企業落地應用,網易云為客戶提供了全流程的服務,覆蓋 DevOps 最佳實踐、可擴充套件性架構設計、微服務化拆分、治理建設、技術支援和高階運維等各個層面。其中,諮詢服務已經在工商銀行、國家電網、申萬巨集源、大華科技、德邦快遞、百勝中國等企業的雲平臺建設、中臺建設和架構演進等專案中開花結果。

網易雲首倡中臺方法論,釋出全鏈路中臺技術方案

訂閱“Linux 中國”官方小程式來檢視

相關文章