在當下的企業管理中,由於資料量的激增,管理方式逐漸從基於經驗轉向基於資料。在此過程中,我們能夠透過資料探查業務情況、分析資料,從而獲取更優的決策支援資料。這通常透過資料包表或分析平臺來實現,對於臨時性場景,則會基於日常取數方式進行臨時資料分析。
但在此過程中,由於資料來源的多樣性、資料結果呈現的多樣性以及需求提出時間的不一致,導致出現了諸如指標管理不統一、口徑不一致、流程不規範等管理問題。例如不同部門核對指標資料時口徑和結果不一致,使大家對資料真實性產生質疑,進而影響業務決策。
指標平臺的出現,正是為了應對上述挑戰,其目標在於統一指標管理,規範資料流程,確保資料決策的有效性與一致性。透過指標平臺,企業得以克服指標管理的痛點,實現資料價值的最大化,保障資料準確無誤,促進業務發展。
指標平臺的業務價值與在數倉中的定位
傳統數倉建設的基本架構,從資料來源同步、資料清洗、資料聚合、至資料服務化,每個環節都承載著特定功能。數倉從資料來源同步至ODS層,再到DWD、DWS和ADS層的資料處理流程。重點在於上層資料(DWS和ADS)對業務決策的影響,它們直接關聯著業務決策的依據。
指標平臺透過最佳化上層資料處理,實現指標的標準化管理和資料的統一性,強化了資料決策的質量。在這個過程中,ODS 和 DWD 層資料與業務弱相關,指標需求和取數更多來自 ADS 和 DWS 層,問題也主要出現在這兩層,所以指標管理主要解決這兩層的問題,確保資料統一規範,方便獲取準確結果。
如何透過指標平臺實現指標的定義與計算
指標平臺整合了資料來源管理、資料模型構建、指標定義、審批流程、運維排程、許可權控制、資料查詢及異常監控等功能,形成了一套完備的指標管理體系。
資料來源管理包括維度和事實表管理,在此基礎上生成資料模型,進而生成指標,同時涉及指標目錄、學員版本管理、原資料管理等管理內容,還包括指標釋出下線及審批流程以保證規範。
配置好指標內容後,涉及資料運維中心,透過自研的分散式排程引擎進行週期性或臨時的補資料排程,保證及時獲取資料結果,並對排程結果進行監控。
資料應用方面包括許可權管控、資料查詢、結果檢視等,還可透過指標市場進行指標查詢與管理,透過原資料查詢指標,檢視熱門查詢瞭解指標使用熱度。
面向業務層,有自助取數方式,可將關注資料儲存生成指標看板,平臺能進行異動監測和歸因分析,還可透過指標門戶、API 方式對接上游應用系統或 BI 平臺。在此基礎上,可透過 AI 智慧分析輔助企業經營決策。
指標開發的整體過程,包括開發和日常運維兩部分。首先有一個資料來源,基於此進行指標邏輯計算,進行指標任務開發和結果落地,之後是資料結果的週期性排程和日常運維,保證計算任務穩定輸出。
重點講一下指標定義的語義化定義,包括資料來源準備、指標模型、指標語義化定義和指標結果落表。資料來源分為維度表和事實表,基於此又產生四種表型別。基於資料來源生成指標模型,包括維度管理和資料模型,資料模型實際使用中建議採用星型模型。定義好指標模型後,對指標計算口徑進行語義化定義,指標分為原子指標、派生指標和複合指標。對於生成的結果涉及表欄位生成,包括業務日期、維度、指標、更新週期。
透過語義化定義,平臺簡化了指標構建過程,包括資料來源準備、模型構建、指標定義和結果落表。此外,平臺內建的AI智慧分析功能進一步提升了資料洞察力,為決策者提供了更多有價值的資訊。
《行業指標體系白皮書》下載地址:https://www.dtstack.com/resources/1057?src=szsm
《數棧產品白皮書》下載地址:https://www.dtstack.com/resources/1004?src=szsm
《資料治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=szsm
想了解或諮詢更多有關大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky