10月30日，袋鼠雲成功舉辦了以“AI驅動，數智未來”為主題的2024年秋季釋出會。大會深度探討了如何憑藉 AI 實現新的飛躍，重塑企業的經營管理方式，加速數智化程序。
作為大會的重要環節之一，袋鼠雲數棧產品經理潮汐帶來了題為《指標+AI+BI：構建資料分析新正規化》的精彩演講，深入剖析了當前企業在進行資料分析時所面臨的挑戰，並分享了袋鼠雲數棧在此領域內的最新成果和解決方案。
一、傳統資料分析方案的侷限性
會議伊始，潮汐首先回顧了傳統資料分析方案的架構。傳統方案通常採用“數倉+BI”的方式，即業務方提出資料需求後，經過資料產品經理的分析和排期，由資料開發人員將資料從業務系統中統一抽取到數倉進行分層加工。加工後的表吐出到業務庫，由BI分析師在BI工具中進行資料接入、資料模型搭建，並基於這些模型透過元件配置和分析互動設定形成資料包表。最終，業務方可以直接透過這些報表共享或嵌入到業務系統中來進行資料分析與監控。
然而，這種模式存在幾個顯著的問題：
高成本與長週期：BI工具往往具有一定的上手門檻，對於不熟悉技術或工具的業務使用者來說，很難深入使用。複雜的分析任務嚴重依賴於資料開發人員和分析師的專業技能，導致需求交付時間週期長，溝通調整的成本也隨之增加。
資料一致性難以保證：傳統的BI工具是一個封閉且中心化的平臺，其中的資料模型定義（包括度量和維度）與其他資料應用之間缺乏互通性。所有資料分析活動都必須在這個平臺上完成，這造成了跨應用分析時指標管理不統一、口徑不一致以及流程不規範的問題。雖然很多企業在數倉層面實現了統一的資料管理和開發，但在應用層面仍然面臨著“煙囪式”開發的困境。
靈活性不足：基於傳統BI工具的資料分析很大程度上依賴於分析師在建立報表時預先設定好的圖表型別、互動方式及分析配置。這意味著，在不同場景下分析資料波動的原因時往往沒有辦法直觀快速地得到結論。
因此，當前的市場環境下，企業需要一種更高效、低成本的資料分析方案。
二、指標+AI，賦能資料分析
針對上述痛點，潮汐介紹了當前較為流行且有效的解決方案：在數倉和BI中間架設配備AI能力的指標層。
數倉處理後的資料在指標層進行統一的資料模型構建，生成原子指標、派生指標、複合指標和衍生指標。這些指標成為後續包括BI在內的所有上層資料應用的基礎。基於這種架構，資料分析不僅相容傳統BI工具，還衍生出更智慧靈活的方式，如指標資料智慧問答和將指標封裝成API對業務系統提供即時資料分析服務（即Headless BI）。這樣的架構總共有四個方面的優點：
縮短開發鏈路：指標體系消除了資料結果的二義性問題，不同業務使用同一指標時無需重複開發或校對口徑，從而大大縮短了整體開發鏈路。
輕量級資料分析：透過指標API，可以將資料分析結果輕鬆整合到任意業務系統中，使業務端能夠以輕量級方式實現個性化的資料分析。
實現快速決策：在AI的輔助下結合行業和企業知識庫可以對資料異常情況進行快速精準的定位，幫助業務方縮短問題排查鏈路，加速決策過程。
低門檻使用：Headless BI幾乎零門檻，適用於大多數不太複雜的分析場景，讓業務方能夠主動願意形成業務分析與資料決策的習慣，讓資料價值更加普及。
三、從指標設計到資料分析實踐全流程
從對新資料分析方案的架構及優勢分析中，可以看出指標體系的搭建是其中最為關鍵的一環。袋鼠雲之前接觸到的很多企業客戶其實都已經做過指標體系搭建的嘗試，但是實踐下來碰到很多問題，如指標管理成本高、重複建設、流程不規範等。
針對這些問題，袋鼠雲數棧提出了完整的解決方案，基於該解決方案，企業可以構建一套從規範建立到資料分析應用的完整流程。
｜01 指標管理規範的建立
首先，在企業內部需構建指標管理與加工的流程制度及組織規範，指標管理規範主要包括指標生命週期管理、指標層次與分類管理、指標定義標準化及指標使用管理規範。
指標全生命週期需要確保從業務方提出需求開始，到指標下線的全過程得到有效管控，整個流程每個環節需要定義好輸入輸出物和負責人員。
接下來是指標層次與分類管理，根據企業戰略目標、組織及業務進行自上而下的指標分級，可以分為三個等級，指標型別可以按加工方式和程度分為原子指標、派生指標、衍生指標、複合指標和自定義指標，透過多種型別指標的定義，構建起有序的指標體系。
然後是指標後設資料的定義，指標後設資料一般包括指標名稱、編碼、所屬業務目錄、計算頻度、計量單位、負責人、業務口徑等資訊，定義好每種後設資料的填寫要求規範，釋出前專人稽核確保不出現定義內容不準確或不清晰的情況。
最後是指標使用管理，設定公司內指標共享和許可權管理機制，讓指標的使用更加合規安全。
｜02 指標開發
在建立規範後，我們來關注指標的開發過程。
首先是業務分析。指標管理方要在瞭解業務的基礎上分析需求、拆解指標主題和分類。以零售行業為例，其資料圍繞人、貨、場展開，透過調研人員、盤點場景，可劃分員工銷售、採購庫存、採購供應商等主題，在這些主題下再細分指標，如員工管理主題下有員工流失率、成效率，銷售價格體系中有銷售金額、銷售利潤，由此梳理出存量指標和指標缺口。
指標缺口確定後，開發人員開始工作。比如開發統計各城市在微信和支付寶近 7 日電商業務銷售金額的指標時，先建立電商訂單資料模型，找到主表訂單表及關聯表，生成電商業務銷售明細原子指標（計算邏輯是訂單金額求和，存於電商產品目錄下），再由此生成各城市電商銷售額派生指標（派生維度為城市和商品型別、時間維度為近 7 天、業務限定為微信和支付寶渠道），配置好離線任務的排程週期和上游依賴，指標資料就可定時產出。
｜03 指標應用
指標完成開發及資料產出後就到了最關鍵的一環——指標的應用。袋鼠雲指標管理平臺已將 AI 深度融入指標多方面多層次的應用中。在介紹應用前，先看 AI 基礎能力是如何搭建的。數棧有自己的AI平臺，負責所有產品模組中AI能力的搭建，AI 平臺支援多種主流大模型部署，並對接行業和企業知識庫，結合指標平臺業務庫的指標屬性、指標血源等後設資料構成了大模型的資料基礎，然後我們就可以在AI平臺上搭建應用工作流，來定製指標AI應用。
目前主要實現的是基於自然語言的指標搜尋、自然語言轉化SQL進行自助取數、指標異常歸因分析以及指標智慧問答及圖表分析這4個方面。
一是智慧分析。可以在指標取數模組中輸入自然語言，如 “查詢近 10 天使用者對各等級產品的支付金額和支付訂單數，支付金額≥15”，平臺調 AI 介面解析轉換為取數規則，執行後可得結果表，使用者可下載分析。在指標看板頁面，可以按業務主題新建看板，輸入自然語言描述想看到的指標內容，平臺經過分析就可以自動生成預製格式的圖表，然後在預生成的圖表上進行微調得到一張完整的看板，從而縮短看板配置時間。
二是歸因分析。基於指標目標樹或看板異常資料，可層層挖掘異常根因並制訂策略。如公司收入下滑，從指標樹層層展開發現是銷售額下滑的原因，7 月資料下降明顯，進一步下鑽得到7 月第二週到第三週波動異常，平臺結合商品型別、城市和渠道維度計算歸因值，發現商品型別的關聯值較大，對商品型別中的值進行分析看到手機類銷售額下滑比較明顯，結合市場情況可知競品友商活動影響。
三是智慧搜尋及對話式指標分析 ChatBI。在指標的智慧問答介面使用者可以用自然語言進行指標搜尋，智慧助理會根據你的描述給出最匹配的指標清單以及每個指標的基礎資訊，點選指標可檢視關鍵資料，對異常點進一步分析可得到原因和關聯指標排查方向。這種以使用者問題為導向，圍繞問題給出答案，並進行關鍵因素分析和引導的資料分析方式，與傳統讓使用者在預製報表裡自行尋找答案的方式相比，無疑能夠大幅縮短問題排查路徑，使問題的解決更加聚焦、高效。
四、某銀行指標管理分析實踐案例
某大型銀行在購買數棧指標平臺前，已經進行了指標體系的梳理和搭建，但在實際應用中遇到了以下幾個主要問題：
指標定義不一致：不同業務線存在很多指標名稱相同但定義不同的情況。例如，“一般性存款”指標在監管口徑中不包括財政性存款，但在人行口徑中則包括；績效考核中不包含保險公司存放款項，而人行口徑則包含。這導致了資料解釋和應用上的混亂。
指標重複構建：多個金融業務中存在相同的指標重複構建，如“客戶人行徵信指標”在零售金融、公司金融和普惠金融業務中都有獨立構建，沒有實現共享，導致資源浪費。
指標應用薄弱：指標構建後主要用於基本資訊和口徑的檢索，沒有進一步應用於更深層次的資料分析和決策支援。
針對客戶梳理出適用於全行的新指標體系，徹底消除指標的多義性，實現指標在全域範圍內的合規共享，並全面加強指標的應用建設的需求，袋鼠云為其量身定製了一套建設方案。
首先，將底層的存貸、風控等業務資料統一抽取到數棧平臺，在此基礎上進行離線和實時的加工處理，從而構建出基礎數倉。接著，藉助 Trino 引擎開展指標計算，經過分類分層的精細操作，得到不同業務的原子、派生、複合等各類指標，以這些指標為基石，在業績考核、風險監管、企業存貸等指標體系中形成可以充分共享的指標目錄。
在這個完備的指標體系之上，進一步開展一系列基於指標的深度應用建設，包括智慧取數、指標看板的自動生成與歸因分析、智慧問題的智慧問答、目標管理以及指標 API 的構建。
經過一年的落地實施，客戶指標管理取得了顯著成效：
全行 80 家分行中的 5000 + 指標得到了重新改造，個人銀行與公司銀行業務的指標實現了統一編目和標準化管理。
依據指標開發規範，利用指標相似度分析對 1100 多個指標進行了治理，有效減少了多義性情況的發生。
同時，在嚴格的資料安全管理規範下，對公考核、普惠金融、基金理財代銷等業務的指標共享使用十分活躍。
基於指標的智慧資料分析應用，使得開發人員在企業信貸、投行、理財等業務中能夠迅速完成資料的分析工作，並快速做出決策，大大提升了銀行業務的整體效能。
想了解更多，請點選：https://www.dtstack.com/resources/1080?src=szbky
《行業指標體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm
《數棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm
《資料治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm
想了解或諮詢更多有關大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky