直擊資料管理四大痛點,指標中臺創新打造企業數字化經營體系新能力 | 愛分析洞見

ifenxi發表於2022-03-28

直擊資料管理四大痛點,指標中臺創新打造企業數字化經營體系新能力 | 愛分析洞見

調研:黃勇 洪逸群

撰寫:黃勇 洪逸群 

指標是指衡量目標的量化引數。在現代企業的經營管理中,為避免單純依靠人的經驗做決策帶來的偏差,運用量化的方式來對業務經營目標進行管理是一種普遍實踐。

通常,企業內部需要建立和使用很多資料指標。為便於統一管理,企業會將這些零散的資料指標按一定的業務邏輯或維度進行梳理和串聯,形成一套具備業務參考價值的指標體系,並透過資料看板或介面形式,提供給管理或業務人員使用。

基於指標體系的應用,企業能夠實現的價值包括:一,統一指標的計算口徑,對齊業務目標,從而提升組織效率;二,反應業務經營狀況,加速管理者制定商業決策;三,賦能業務人員自主用數,主動發現業務運營問題。

然而近年來,在資料分析平民化、資料應用需求爆發式增長的背景下,企業在指標的構建和應用中面臨著諸多挑戰,也由此催生了企業在指標中臺構建方面的探索,以實現對指標的統一管理與應用。在本文中,愛分析將對這些挑戰進行詳細闡述,並重點分析指標中臺具備的功能和價值,同時結合領先企業的實踐案例,為企業構建指標中臺,實現更簡單和高效的資料應用提供參考方案。 

1、資料分析平民化時代,企業在指標體系構建與應用中面臨的挑戰

儘管資料指標對於企業的經營管理有著重大價值,但當前大部分企業在指標構建與應用中,普遍還沿用著一種較傳統的方式,即由管理部門和少數核心業務部門集中向IT部門提需求,資料開發人員從數倉或多個業務系統中採集資料,再做彙總計算,並將計算結果整合成資料包表,整個過程要花費數天甚至數週時間。

然而隨著近年來數字化轉型的加速推進,企業對資料應用的範圍從之前的面向管理層和少數業務人員擴充套件到面向幾乎所有的一線業務人員,併為之提供實時、智慧的探索式和自助式資料分析。此外,企業需要處理的資料量也隨之急劇膨脹,這給企業指標構建與應用帶來了一系列挑戰,致使傳統的模式和技術方案都已不能適應這樣的變化。

以數字化程度較高的銀行等金融行業為例,企業目前在指標構建與應用中主要面臨著以下四點主要的挑戰:

第一,現有系統無法滿足業務人員更精細化、更實時的用數需求。隨著企業的資料服務物件從管理人員為主轉向更多的一線業務人員,這對企業的資料服務能力也提出了更高的要求。一方面,為了讓業務運營實現更深度的資料驅動,企業需要給業務人員提供更細顆粒度的資料指標。以銀行的普惠金融、營銷業務場景為例,一線業務人員在開展業務時不僅需要彙總的資料,還需要對數千萬甚至上億使用者從更細的維度去進行資料分析;另一方面,大量業務人員的用數需求都要求更高的時效性,如果像傳統報表開發需要等待數天或者更長時間,將無法適應業務快速變化的需求。

第二,IT能力難以適應爆炸式的資料消費的要求。面對業務部門急劇增長的資料應用需求,傳統的“業務提需求,IT做開發”的方式不僅會產生大量資料開發的人力成本,甚至IT部門無法滿足如此大量的資料開發需求,而業務人員又難以自主地進行資料指標的開發。
與此同時,資料應用的大量增加也會對IT資源提出更大的挑戰。一方面,各部門各自生產資料指標,由於口徑不統一,原始資料表經過多次加工處理會產生多個衍生表。以某銀行為例,其一張原始表經過一系列加工處理後產生了幾萬張衍生表,而其整個資料倉儲中則存在幾百萬張表。如此多的資料表不僅佔用大量儲存,更關鍵的是其會在資料應用中產生大量ETL任務,並且充斥著大量重複性工作,導致消耗和浪費了大量計算資源;另一方面,當企業積累了大量資料指標之後,其指標加工和查詢需要也需要IT基礎設施具備更高的能力,以滿足高效能、高併發的查詢服務。
第三,管理人員缺少統一的指標查詢入口。為了支撐企業內各級管理者能做出正確的決策和指揮,需要為其提供及時、準確的資料指標查詢入口。同時,管理者也需要對一線業務人員在使用的資料指標情況進行全域性掌握,提高管理效率。因此,需要有一個統一的平臺,能將管理者的資料指標和業務人員在開發和使用的資料指標進行端到端的打通,並且在平臺上進行資料指標的敏捷加工和快速展示,從而實現有效管理。
第四,資料治理缺乏有效抓手,資料治理工作很難推進。資料量的急劇膨脹通常會導致系統中的資料質量變差的問題,也因此會給資料儲存、處理和分析各環節的效能和使用效率帶來很大挑戰。此時,企業需要透過開展資料治理工作來提高資料質量。然而,在企業的實踐中,資料治理工作經常會半途而廢,其中最核心的原因在於,資料治理工作往往非常繁雜和耗時,當企業缺乏有效的抓手去開展資料治理工作時,將很難產生直接的成果和效益,到了後期也就無法繼續推進。 

2、 指標中臺支撐更高效的指標體系構建與應用

指標中臺是企業用於對指標進行統一管理和應用的平臺。在資料分析平民化的趨勢下,指標中臺提供了將治理後的資料以業務化視角進行建模、檢視、管理和使用,並提供業務衍生指標的自定義功能,為使用者提供統一的指標看板或指標呼叫介面。同時,透過在平臺中不斷沉澱和更新指標,實現指標的共享複用,構建指標運營生態。

企業搭建指標中臺的核心要義在於順應和助推資料管理與應用從集中式的模式轉向去中心化的趨勢。如前文所述,傳統的“業務提需求,IT做開發“的模式在資料應用需求劇增的背景下,將面臨管理、業務、IT,以及資料治理層面的諸多挑戰,企業需要引入指標中臺,讓各個部門的業務人員能夠在平臺上靈活自主地構建指標體系,賦能其業務運營,讓資料應用更簡單和高效。

指標中臺的應用,也將會給企業資料管理與應用的模式帶來深刻轉變,並對管理、業務、IT等相關各方人員的角色和能力都提出了不一樣要求。具體而言,透過指標中臺的應用,企業能夠在資料管理和應用中實現的效果和轉變包括:

1)構建業務數字化經營管理體系:企業內各級管理人員可以透過指標中臺更加便捷高效地訪問資料化、體系化的業務經營指標,從而更加及時、準確瞭解經營情況,真正做到基於資料驅動做出正確的決策。

2)形成人人都是分析師的資料文化:指標中臺可以面向全公司的相關使用者提供資料訪問、自助分析以及資料開發能力,降低了使用者使用資料的門檻,賦能業務自助用數,加速資料分析師文化的培養。

3)建設業務和 IT 的高效合作新模式:指標中臺透過指標模型智慧管理、加工與查詢加速,可以大幅提升資料開發效率,以資料敏捷推動業務敏捷,變革傳統的“業務提需求,IT做開發”的合作模式。

4)推動完成資料治理工作:以指標治理為抓手,對齊指標口徑,推動資料治理工作,透過指標治理逐步完善資料治理。由於指標計算涉及底層多方面的資料,且大量業務人員日常會頻繁關注和使用資料指標,資料質量導致的指標口徑不一致的問題會很容易被發現。因此,指標中臺可以有效地以指標治理推動資料治理。 

3、 領先企業的指標中臺應用實踐案例

銀行業由於業務範圍龐雜、組織內資料應用需求廣、資金和研發實力強等因素,一直走在數字化的前沿。隨著數字化轉型的深入,以及對資料是重要生產要素的認知的不斷提升,一些領先的銀行近年來加大對資料在企業日常經營管理中發揮作用的探索,紛紛投入建設新型的指標中臺以構建口徑統一、業務驅動的指標體系,從而有效衡量業務經營和發展情況。並透過指標中臺,降低資料使用門檻,實現資料賦能一線業務人員,全面推動銀行數字化經營。

以某股份制銀行為例,其自推進集團數字化戰略以來,各業務條線都建設了數字化經營中臺,隨著資料需求的爆發,銀行內的資料表、ETL作業、BI報表的開發維護工作量變得非常巨大,由此導致的資料開發週期長,資料口徑雜,資料獲取難,查詢響應慢等痛點也愈發顯著。

為解決上述問題,該銀行以指標治理為切入點,在行內打造了統一的指標管理中臺,提供了指標的錄入、釋出、派生、分享、視覺化應用以及深度分析等全套解決方案,併為該銀行億級資料下多維分析提供了四大核心能力:

1)指標構建服務:透過指標定義派生、衍生,並統一口徑,平臺自動構建智慧模型、自動管理相應的任務和資源佇列等,並完成指標的彙總、加工和計算。

2)指標查詢服務:平臺提供非同步查詢、主被動快取、降級下壓、智慧聚合等功能,滿足大資料量多維查詢場景下快速響應與靈活分析的需求。並且平臺利用指標卡片,讓指標真正活起來,讓使用者可以更直觀的找到指標、使用指標,以及利用指標看板功能,讓普通業務人員也能輕鬆製作看板、分析資料,減少對資料開發人員的依賴。

3)資料治理:以邊使用邊治理的理念為驅動,提供指標、維度、資料時效等的治理功能,在場景化應用中提升資料規範性、減少指標和維度的二義性,從而提升資料管理水平。

4)AI能力:平臺以業務場景為導向,圍繞指標應用,提供了演算法的接入能力,幫助使用者便捷地開展深度分析。

圖1:某股份制銀行指標中臺架構 

直擊資料管理四大痛點,指標中臺創新打造企業數字化經營體系新能力 | 愛分析洞見

指標中臺改變了該銀行傳統的資料開發模式,以及業務使用者的資料應用模式,降低了資料開發的成本,提升了資料應用的效率。

目前,指標中臺已經積累的指標數量達到1.1萬。而其資料開發週期由平均12天縮短至3-5天,大資料包表開發人力耗費減少30%;同時,中臺也改變了業務人員的資料應用模式,有近50%常規需求被替換為指標及指標看板開發,實現一線業務自助用數。此外,指標中臺的建設,也進一步推動了該銀行的資料治理工作,基於指標中臺銀行實現了資料資產的廣泛共享,有問題的指標能夠及時地被發現和糾正。 

4、 典型廠商的指標中臺解決方案

目前,在國內市場提供指標中臺解決方案的廠商主要有兩類。

第一類是傳統的BI廠商,這類廠商主要提供的是一套涵蓋指標定義、指標建模、指標固化、指標視覺化分析等功能的指標管理工具,側重為企業提供指標集中管理、統一口徑以及指標視覺化的能力。

第二類是資料管理與服務平臺提供商,這類廠商的解決方案除了注重在指標定義與管理能力、更高效和智慧的資料處理和加工能力建設之外,更重要的是幫助企業構建自有的數字化體系建設方法論。典型的廠商和產品如Kyligence指標中臺解決方案,其提供的新型指標中臺打破了以樹形指標體系自頂向下建設的傳統思路,以高效賦能業務為目標,以去中心化為底層邏輯,以自動化、智慧化為手段,透過幫助企業把指標基礎模組搭建好,讓客戶不斷髮揮業務自主性和創造力,構建出自有的、靈活高效、高價值的數字化中臺。

愛分析認為,在業務變化更加快速、資料分析需求更加下沉的當下,具備更高的靈活性和敏捷性的新一代指標中臺才能真正成為支援“全民”自助式建指標、用指標的基礎設施,再結合指標體系構建和流程管理的方法論,將使企業掌握可複用、可擴充套件的數字化經營管理體系構建能力,增強經營韌性,從而具備更長期的競爭力。

以Kyligence為例,愛分析在調研中發現,促使指標中臺的有效落地的關鍵因素可以分為兩部分。

其一,先進技術為指標中臺構建夯實底座。Kyligence在為多家企業級客戶搭建指標中臺的過程中,致力於建立一套具備獨特優勢的指標中臺產品技術解決方案。該方案透過為企業提供AI增強的智慧指標引擎,可以實現智慧的指標建模、加工和計算,加快指標開發和上線的效率,以及高效能、全場景的OLAP引擎,能夠實現各類指標查詢的秒級響應;同時,Kyligence為企業在資料儲存和應用之間構建統一的語義層,便於業務人員快速獲取口徑一致的資料,降低過多中間表造成的資源消耗;並提供全面的API整合介面,能夠與企業現有的資料管理、排程、安全等元件無縫整合。

其二,完善的體系構建和流程管理方法論成為助力指標中臺執行的有效機制。基於其服務頭部銀行等客戶的實踐,Kyligence總結認為指標體系構建方法論需要包括適用於企業管理的OSM模型和適用於使用者運營的AARRR模型。指標流程管理方法論則提供了從需求分析、指標接入、指標管理、指標計算、到指標應用全流程中各個角色和職責分工的最佳實踐。

圖2:Kyligence指標中臺解決方案 

直擊資料管理四大痛點,指標中臺創新打造企業數字化經營體系新能力 | 愛分析洞見

5、指標中臺的興起將推動企業完善數字化經營管理能力

對於業務人員而言,指標足夠簡單、直接,能夠支援其在日常工作中自主且廣泛的使用資料。而隨著企業數字化轉型的深入,業務人員對資料應用需求的進一步增加,對海量指標進行開發、管理和使用也將成為必然的趨勢。

儘管在傳統的BI系統中,使用者也可以檢視和使用各類指標。但其根本的侷限性在於,傳統的BI系統是以報表的形式為使用者呈現指標,這樣的指標口徑通常不統一,彼此割裂,不能成為指標體系。最重要的問題是,不能支援業務使用者靈活自主地開發和使用指標。

基於上述原因,愛分析認為,能對指標進行自助構建、並統一管理和應用的指標中臺將成為所有企業發展到一定階段後的必然需求。透過指標中臺的搭建,企業能夠建立以指標為中心的全新的數字化系統,並進一步引入AI演算法,實現更智慧的分析應用。並在此基礎上,企業可以進一步向資料驅動戰略邁進,構建完善的數字化經營管理體系,從而建立資料管理共識,最終提升企業的管理能力。 


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69993021/viewspace-2884473/,如需轉載,請註明出處,否則將追究法律責任。

相關文章