2022 年 12 月，愛分析舉辦了“2022愛分析·資料智慧網路研討會”。愛分析邀請Kyligence合夥人&副總裁李棟進行了題為《指標中臺，構建數字化管理新體系》的主題演講。
指標是企業資料價值消費單元，也是企業實現精細化管理、資料驅動的必要工具。目前，更廣泛的人員正在參與和影響企業業務發展，這對指標質量、指標開發效率、指標更新時效等提出了更高要求。指標中臺無疑成為企業實現指標管理、提升運營效率的重要工具。
Kyligence 合夥人&副總裁李棟在會上的演講圍繞指標中臺展開，分享了指標中臺的發展背景和趨勢、典型客戶建設指標中臺案例和效果，介紹了指標中臺技術底座對解決寬表爆炸、企業資料指標口徑、企業數字化管理等痛點的價值。
我的分享主題是《指標中臺，構建數字化管理新體系》。首先簡單介紹一下Kyligence，Kyligence是全球領先的多維資料庫和指標中臺的技術軟體供應商，於2016年由Apache Kylin開源專案的創始團隊建立。Apache Kylin是目前較為領先的大資料 OLAP 開源技術。Kyligence研發的多維資料庫和指標中臺等產品，也是依託於Apache Kylin技術實現。同時Kyligence入選了《2022 Gartner Innovation Insight for Metrics Store》報告，這是唯一入選的中國廠商。此外，我們還有很多合規認證等。
在上週的12月15號，由愛分析和Kyligence共同打造的中國首份《指標中臺市場研究報告》剛剛釋出。在此之前，雙方還開展了一項關於“企業指標管理與資料分析現狀”的調研。調研涵蓋了銀行、保險、製造、零售與消費品等各個行業的數字化轉型領先企業，涉及資料、IT、業務等多種角色一起深度參與，收集了很多寶貴資料。此外還有來自銀行、保險、零售等行業客戶的最佳實踐。基於所有這些資訊，我們整合成了這樣一份指標中臺報告，歡迎大家下載。我今天的分享也將以這份報告中的內容為主線進行展開。
首先是關於指標中臺的趨勢和背景。德魯克曾經說過，沒有度量就沒有管理，因為不能去管理一些不可度量的事物。除此之外，我們也會看到
企業數字化經營的關鍵，是要建立以指標為核心的管理體系，例如KPI、OKR，或是平衡計分卡、BI等管理手段，本質上都是在幫助企業的決策者和管理者更好地瞭解企業的經營指標，構建可觀測的經營管理體系。
為什麼指標這麼重要？指標是企業內部通用的管理語言，連線著業務和資料。一方面在業務側，人人用指標，指標是企業業務運營、經營管理過程中的共同語言。在資料側，指標又是通用的資料語言。只有把資料加工成為指標，或者透過資料計算出指標結果，才能夠體現出資料分析的價值。在愛分析和Kyligence聯合開展的“企業指標管理與資料分析”的調研中，當評價指標體系對於公司的重要程度時，能看到有85%的企業認為指標體系對於公司很重要，有49%的企業是經常使用指標體系管理業務。
指標體系的重要性已很明確，然而企業在建設指標體系的過程中面臨諸多挑戰。
第一個挑戰是現有系統難以滿足業務人員更精細化、更實時的用數需求。如業財一體化中，業務人員和財務人員希望站在全域性的視角上，同時對業務部資料和財務資料有宏觀的瞭解。這要求對現有的跨平臺或多渠道的資料進行整合，這是企業當下面臨的第一個挑戰。
第二個挑戰是企業IT能力和成本有限，無法滿足業務爆發式的增長。比如保險公司每週都會發布新產品，每個新產品都需要運營團隊對使用者的各種行為資料進行詳細分析。然而公司不可能為每個新產品都投入相應的IT資源，包括透過資料開發人力進行手工開發等，這個成本很難吃得消。
第三個挑戰是管理人員缺少統一的指標查詢入口。這個挑戰本質上還是指標口徑問題。以銷售額為例，從財務視角和業務視角對銷售額的計算口徑就會不一樣。口徑不一致，管理上就需要花很多時間對齊口徑。
第四個挑戰是資料治理缺少有效的抓手。當企業缺乏有效的抓手去開展資料治理工作時，將很難產生直接的成果和效益。調研資料也驗證了這一點，在統計中發現，像指標質量、指標體系不完整、資料分析平臺效能待完善等，都是企業普遍面臨的問題。
指標中臺產品的設計初衷就是解決以上問題。為什麼叫指標中臺？對於中臺，大家很熟悉的概念有One Data、 One ID、 One Service 等。指標中臺是集中管理、儲存指標以及提供指標服務的一個平臺，提供業務模型、指標管理、指標加工、資料服務等一體化的解決方案。指標中臺在企業整體的架構中，處於資料湖、數倉和資料應用之間。
指標中臺主要有兩部分，上面一部分是指標應用，下面一部分是計算引擎。應用層的目的是構建指標目錄，包括像指標定義、指標視覺化、指標質量、指標管理、指標服務等功能。在指標定義中，需要定義指標的口徑、指標的計算邏輯、商業意義、商業價值以及指標的歸屬。
在計算引擎層，針對指標分析、指標查詢、指標服務等功能實現，需要具備高效能、高併發的計算分析能力，以支撐平民資料分析師對海量資料的使用。
基於指標中臺，在下游的多種分析工具如BI、Excel、Tableau及其他視覺化工具、協同工具中，都可以獲取最權威的具備一致性的資料。
銀行業的數字化一直走在各個行業的前列。首先介紹一個來自於平安銀行的案例。平安銀行是一家全國性的股份制商業銀行，金融服務種類齊全。平安銀行從2016年起開始數字化轉型佈局。在平安銀行的零售業務板塊中，包括信用卡、消費金融、汽車金融等細分業務板塊，每個板塊都涉及到產品、渠道、客戶交易等資訊。從資料分析的角度來看，要想實現精準營銷、改善客戶體驗，需要從不同維度、不同渠道以及用不同的指標來進行復合性的分析。例如在精準營銷中，對客戶生命週期全鏈路進行管理時，需要結合客戶在銀行的交易資料、產品資料、行為資料等進行綜合分析。
在建設指標中臺之前，平安銀行透過傳統的BI報表分析的方式，面臨許多挑戰：1）資料治理難，報表口徑不一致，取數存在信任危機；2）資料協同難，不同部門間的資料處理模式不同，相互之間很難複用；3）資料處理工具使用難，效率低，如平安銀行的零售業務中資料開發人員高達200名，依然存在資料開發週期長、響應慢的問題。
為解決以上問題，平安銀行建設了潘多拉指標平臺，並選型使用 Kyligence 多維資料庫作為底層核心元件。所有業務人員透過潘多拉指標平臺自助獲取所需要的任何業務的指標資料，可以減少重複性報表的開發工作，透過指標看板、智慧的歸因分析和趨勢預測來對指標進行一站式的、全鏈路的分析和洞察。此外，也能透過潘多拉指標平臺的指標定義、指標釋出、指標管理等一系列指標自動化管理流程來提升資料和指標管理效率。
目前平臺已經接入了15000多個指標、1000多個維度，活躍使用者也已超過5000人。從效果來看，資料開發效率得到大幅提升，資料開發週期縮短了3-5天，ETL人力縮減了30%，同時指標複用率超過25%。
接下來再介紹來自於百勝中國的案例。百勝中國是全球性的餐飲集團，是零售餐飲行業的典型代表，肯德基、必勝客都屬於百勝中國下的品牌。隨著百勝中國的快速發展，尤其網際網路業務的爆發式增長，整個公司的資料體量也在不斷增長。
為提升整體經營效率，百勝中國的各個部門包括區域級別、門店級別都產生了大量的資料分析需求和指標應用的需求，如銷售部門需要從地區、時間、金額、頻次等多個角度分析銷售訂單情況。如果每個指標都透過報表開發，整體的分析效率會非常低下。
百勝中國與 Kyligence 進行合作，並透過建設指標分析與管理應用體系，對以上諸多問題進行了改善。整體的資料準備時間降至30分鐘，相較之前用時縮短75%；OLAP效能大幅提升，500億+資料體量下平均響應時間僅4秒，90%的查詢用時在1秒以內。指標分析與管理應用體系的效能充分滿足包括集團、區域等各級資料分析師在內的資料消費者使用需求。
此外，這套指標分析與管理應用體系還保留了業務人員既有的資料分析習慣。過往百勝分析師習慣使用Excel，這套體系能在大資料體量下依然支援分析師使用Excel對接或進行自助式分析。
這些案例的背後，是包括 Kyligence指標中臺引擎、產品、方法論在內的整套解決方案。一方面，Kyligence有企業級指標中臺解決方案，以Kyligence的多維資料庫技術為核心底座，具備指標管理引擎，支援高效能的指標計算和查詢服務，為金融、零售、製造等企業提供端到端的解決方案，幫助企業簡化資料分析和指標管理。
另一方面，Kyligence也推出了名為Kyligence Zen的一站式指標中臺產品。這是一個標準化的SaaS產品，支援企業將雲端的S3、CSV檔案等常用資料來源快速接入指標中臺，透過指標目錄、指標自動化、目標管理、指標API、歸因分析、指標模板等開箱即用的能力迅速從零開始搭建、實踐指標中臺。
為什麼Kyligence的指標中臺解決方案在技術上更有優勢？
這主要是因為底層多維資料庫技術。舉個例子，Kyligence服務的一家網際網路行業電商客戶，這家電商企業從2019年下半年開始建設自己的數字化平臺。如下圖所示，左側從資料庫、日誌系統中抽取的資料進入資料倉儲。資料進入資料倉儲的貼源層後，經過加工一步步變成寬表、業務表。業務表包含了各種業務指標，如銷售相關的各種指標，客戶相關的各種指標，網路流量、廣告相關的各種指標等，每個指標都是從貼源層原始資料一步步加工形成。每個業務表的背後都存在著大量的寬表。
這裡就會產生一個問題，指標數量的快速增長帶來了寬表爆炸。這也是多數企業在資料湖建設和資料倉儲建設過程中面臨的共性問題。Kyligence在服務這家電商客戶時看到，業務端的一個訂單表背後會產生1萬多張寬表。大量的寬表一方面快速消耗計算和儲存資源，另一方面寬表的ETL需要消耗大量的開發運維人力，帶來計算成本和人力成本的持續增長。
Kyligence多維資料庫能有效解決寬表爆炸問題。什麼是多維資料庫？多維資料庫來自於經典的OLAP Cube理論。經典的OLAP Cube 理論下，在三維的Cube 中，每個維度代表業務中的一個維度，每個格子代表一個維度下的度量。也可以換一個角度理解Cube，即Cube中的每個節點代表一個基礎指標，如任何一個時間、任何一個地區、某個商品品類的銷量對應的就是一個節點。在多維資料庫中，每個格子代表的基礎指標加上一些業務口徑，如時間段、地區等就可以構成豐富的業務指標體系。多維資料庫的核心在於它儲存的是維度和度量，而不是以表為核心去儲存資料。
此外，所有指標的生命週期也能被統一管理。而在關係型的資料庫中，不同的指標用不同的寬表進行儲存，生命週期難以實現統一管理。經常出現的情況是，寬表與寬表間的資料更新不同步，導致指標的生命週期不一致，最終出現資料信任問題。
多維資料庫基於空間換時間的思想，將指標預計算好並儲存在多維資料庫中，因此業務分析時具備高效能。此外，多維資料庫也更節省成本，相較於昂貴的計算資源，多維資料庫透過雲上儲存實現空間換時間，價效比更高。
那麼，多維資料庫是如何解決寬表爆炸問題的？回到電商客戶案例中，所有資料進入貼源層後都可以被多維資料庫進行統一管理。
資料如何實現統一管理？在多維資料庫中定義的多維資料模型、維度和指標，本質上是在貼源層的表上定義了統一的業務後設資料。基於業務後設資料，一方面能更好地管理底層資料，另一方面，可以賦予上層的業務使用者更好的資料消費能力。同時，包括資料分析師在內的業務使用者也能更加自主地基於多維資料庫中的基礎指標進行創新，建立更多的衍生指標。業務端的指標都是衍生指標，不會產生底層寬表，自然也不會帶來寬表爆炸問題。
怎麼理解這一點？這裡補充一點背景知識。基礎指標、衍生指標等概念來源於指標體系構建過程。最開始透過表進行初步計算如求和的指標是基礎指標，圍繞著基礎指標，透過口徑、時間、四則運算產生更多衍生指標、複合指標、時間衍生指標等概念。其中，只有基礎指標是需要被預計算的，外圍的衍生指標、複合指標不需要。正是基於多維資料庫對指標體系的梳理，能有效減少寬表爆炸問題。而在關係型資料庫中，衍生指標或者複合指標都是透過寬表的方式建立的，會消耗更多IT成本。
再回到電商客戶案例中，一開始貼源層有5000多張表，透過多維資料庫定義出2000多個基礎指標，進而衍生出1萬多個衍生指標。其中5%的衍生指標可以基於基礎指標透過大規模並行處理線上計算得到；95%的指標已經完成了預計算。透過多維資料庫，資料人員可以更好地管理資料，業務人員也會更加自主地使用指標進行業務創新。
多維資料庫的Cube理論使整個寬表的數量大幅降低，充分預計算加少量線上計算的方式也能降低企業整體的TCO（計算總擁有成本），因此多維資料庫能更好地應對寬表爆炸挑戰。
透過以上介紹，可以證明多維資料庫確實是支撐指標中臺的更好的技術底座。
今天的分享就是這些。歡迎大家來試用Kyligence指標中臺技術，在kyligence.io網站上有兩個產品試用入口，一個是關於多維資料庫，一個是一站式指標中臺產品。最後歡迎大家下載由愛分析和Kyligence聯合出品的《中國指標中臺市場研究報告》。前面介紹的內容可能比較簡略，在這份報告中會有更加詳細的介紹，包括案例、指標體系構建方法論、指標中臺落地方法論等。
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69993021/viewspace-2932472/，如需轉載，請註明出處，否則將追究法律責任。
