基石視覺化資料分析平臺設計實踐

　　 1 概述

　　在當下數字化轉型的大環境中，資料成為企業發展重要基石，如何利用好資料進行分析也成為更多企業面臨的首要問題。隨著資訊科技發展，資料分析平臺作為一種新型的企業管理工具，可以幫助企業實現資料收集、處理、分析和應用的全過程，為企業提供全面、準確、及時的資料和決策支援。

　　部門內部自研的資料視覺化分析平臺-基石，基於傳統BI多型別資料來源管理，在自助式生成資料展示頁面的基礎上，加強了資料增強分析能力。其中異動分析、轉化分析、漏斗分析等大大提高了資料分析的效率，使分析師和運營人員專注於分析業務、市場行為，瞭解客戶的核心需求、預測市場趨勢，為企業提高業績，獲取競爭優勢。

　　 2 背景

　　58同城作為中國領先的生活服務平臺，業務覆蓋招聘、房產、汽車、本地生活服務等領域。每日產出億級別資料，資料分析師對海量資料多維度展示和資料分析需求強烈。部門內部的視覺化基石BI基於使用者需求，提供資料自定義看板展示和增強分析能力，支援拖拽式操作和豐富的展示效果，幫助使用者靈活搭建資料看板，從不同的角度對資料進行解讀和挖掘，對資料進行全面的監控和分析，及時發現異常情況和風險點，提供預警和決策支援。

　　 3 基石BI平臺介紹

　　不同於傳統BI工具，基石BI提供了完整的資料閉環，對資料進行抽取、整理、分析、報表輸出等，透過資料對企業決策提供支援和幫助。　　

　　3.1 基石BI核心流程

　　資料連線：使用者將要查詢的資料表接入到BI中。

　　資料準備：將資料表進行查詢整理，形成資料集，進行資料標註。

　　資料看板：設定看板對應資料集，拖拽外掛進行佈局，固化為資料看板。

　　資料應用：配置應用資訊，對外輸出資料看板。

　　增強分析：透過演算法模型進行有效的資料分析，查詢異動、轉化分析資料。

　　3.2 層級結構示意圖　

　　3.3 基石BI設計標準

　　工具化：轉化思想，從以往已報表為核心在不同系統開發展示，或是採購其他廠商應用，轉化為自研資料工具思維，使功能工具化標準化，提高效率，保證資料一致性和安全性。

　　平臺化：研發BI分析平臺，簡單快捷的進行視覺化看板搭建，對外輸出平臺化產品，進而實現一處設定，多處使用。

　　智慧化：實現業務智慧化，基於演算法模型持續產出異動分析、轉化分析等智慧分析元件，提升平臺競爭力，有效為企業決策提供資料支援。

　　 4 基石BI平臺實踐

　　為了滿足業務需要多端視覺化資料查詢展示、資料推送、資料分析能力，設計架構如下圖所示：　　

　　平臺架構是基於BI系統通用流程建立，服務主要包含閘道器接入服務、Oauth授權服務、資料預覽展現服務、資料查詢解析、結果聚合服務、資料查詢引擎服務、增強分析服務。從業務角度看，平臺按照業務需求，統一資料處理邏輯，強化展示分析，提高資料使用率，設計為4層模組：

　　資料接入層：統一資料來源，多型別資料來源接入BI體系，支援定時同步，資料加工管理，讓資料更好的展現。

　　資料服務層：研發資料查詢引擎，提供查詢解析和結果聚合服務，能夠處理資料複雜查詢，提升效率。

　　資料展現層：基於資料查詢解析、資料預覽服務，搭建使用者需求分析看板，設定許可權管理，使資料靈活展現。

　　增強分析層：結合演算法模型，更深層挖掘資料潛力，智慧診斷，支援維度下鑽、指標探查等，為企業運營提供多維度資料支援。

　　以下分別介紹4層模組的詳細設計：

　　4.1 資料接入層

　　統一資料生態，讓資料更便捷準確接入BI平臺資料體系，使資料充分得到挖掘利用

　　統一資料來源，透過許可權設定，將資料有效管理。

　　支援資料來源實時校驗，資料連線。　　

　　4.2 資料服務層

　　資料服務面臨的困難：指標計算、衍生計算複雜，且底層資料來源引擎能力和查詢sql都不一樣（Mysql，ClickhouseSQL，Doris），導致開發成本很高，新增一種資料來源型別就要開發對應資料查詢能力。

　　解決方案：研發資料查詢引擎和資料解析聚合服務，提供語句分析，透過語法解析聚合，進行查詢構建，對不同資料型別進行查詢。　　

　　4.3 資料展現層

　　4.3.1 看板搭建：透過拖拽內建元件，自定義頁面佈局，選擇元件對應資料展示源，設定維度、指標等查詢配置，基於資料解析、資料查詢引擎服務，實時展示資料，自助式生成視覺化需求看板。在滿足功能基礎上，做了三方面最佳化：

　　頁面元件最佳化：最佳化元件拖拽顯示體驗，做到低延遲高流暢；對元件進行二次開發，提升資料展示效果。

　　互動效果最佳化：平臺前後端呼叫互動最佳化，合理構建元件資料查詢引數，提高平臺解析資料效率；平臺操作頁面互動最佳化，讓使用者使用更便捷，提高操作易用性。

　　欄位條件最佳化：動態設定欄位過濾器，新增多種格式設定，支援日期、數值、字典欄位等自定義配置，更加靈活進行資料過濾。

　　4.3.2 應用管理：新增看板所需展示的應用資訊，實現一處配置，多處展示需求。

　　應用資訊：對應用進行管理，配置每個應用唯一的授權Key，設定授權模式、授權域、令牌時效資訊，安全穩定的與第三方業務應用進行對接。

　　看板嵌入：將平臺看板和應用進行繫結，實現一處配置，多處展示。提供對接服務，高效快捷的使看板嵌入其他業務應用。

　　資料許可權：透過設定 應用-看板-使用者 資料許可權關係,精確設定到每個元件不同人員檢視的行許可權，做到千人千面，靈活展示。　　

　　4.3.3 資料展現：多形式，多維度資料展示，及時有效瞭解資料詳情。

　　郵件推送：平臺提供截圖服務，對定時傳送的資料包告提供郵件推送能力。

　　多端展現：在PC端配置完成後，能在移動端和H5端自動適配，動態適應看板展示場景。

　　分析展現：提供下鑽維度、智慧分析等多種展現功能，提高資料使用率，充分挖掘資料深度。　　

　　4.4 增強分析層

　　除了傳統資料來源，看板等BI模組，在後端服務上新增加強分析，結合演算法模型，對趨勢資料監控異常點，智慧診斷（Adtributor演算法），進行維度下鑽分析等。具體如下：

　　4.4.1異動智慧分析

　　1） 指標監控方法與實施

　　a.理論基礎：

　　統計方法：基準值指定為均值。均值的計算設定為，以近期（7天、30天）資料進行滾動均值計算。誤差的範圍選取，以 標準差或者3σ 為建議範圍。

　　閾值方法：基準值指定為環同比的上週期資料，允許分析師自定義波動閾值。根據自定義的閾值，進行資料波動範圍視覺化展示。

　　建模方法：基準值透過ARMA時間序列預測&fb-prophet時序預測獲取。異常判斷將更智慧，相容性更好。

　　b.實現邏輯：　　

　　c.效果展示：　　

　　2)異常歸因方法與實施

　　a.理論基礎：

　　基於Adtributor演算法對異動點分析，演算法的核心主要是：驚喜度SURPRISE，解釋力EP。Adtributor對異常指標的所有維度和元素,根據當前的數值和參考的數值，計算EP值和S值

　　S值 ：

　　

　　根據驚喜度計算出，針對關鍵的指標，計算所有維度下的所有元素和參考值的差異，即計算每個元素的Sij(m)，然後進行求和得到S值，然後找出哪些維度可能存在異常，根據S值進行降序排序，找出最意外的維度。

　　

　　EP值：計算每個維度下每個元素在該分析的指標上的變化總數的佔比，EP值是針對單個維度進行衡量每個元素的重要程度。

　　簡單來說，就是針對單個維度進行歸因分析，根據S值找出最大的異常維度，根據EP值給出解釋說明。

　　b.實現邏輯：　　

　　4.4.2 漏斗加強分析

　　1)漏斗分析是衡量轉化效果、進行轉化分析的重要工具，是一種常見的流程式的資料分析方法。它能夠幫助你清晰地瞭解轉化情況，從多角度剖析對比，定位流失原因，提升轉化表現。

　　2)

　　a.漏斗分類

　　無序漏斗：在漏斗的週期內，不限定漏斗多個步驟之間事件發生的順序。

　　【計算規則】：假設一個漏斗中包含了 A、B、C 3個步驟，A步驟發生的時間可以在B步驟之前，也可以在B的後面。使用者的行為順序為A、B、C的組合都算成功的漏斗轉化。即使漏斗步驟之間穿插一些其他事件步驟，依然視作該使用者完成一次成功的漏斗轉化。

　　有序漏斗：在漏斗的週期內，嚴格限定漏斗每個步驟之間的發生順序。

　　【計算規則】：假設一個漏斗中包含了 A、B、C 3個步驟，A步驟發生的時間必須在B步驟之前，使用者的行為順序必須為A->B->C 。和無序漏斗一樣，漏斗步驟之間穿插一些其他事件步驟，依然視作該使用者完成一次成功的漏斗轉化。

　　b.漏斗建立

　　選取漏斗型別 ：有序漏斗和無序漏斗，平臺預設選擇有序。

　　新增漏斗步驟 ：漏斗步驟就是漏斗分析的核心部分，步驟間統計資料的對比，就是我們分析步驟間資料的轉化和流失的關鍵指標。

　　確定漏斗的時間區間和週期 ：一般來說，此類資料的數倉表是按照時間分割槽的。所以選擇時間區間，本質就是選擇要計算的資料範圍。週期是指一個漏斗從第一步流轉到最後一步的時間限制，即是用來界定怎樣是一個完整的漏斗。

　　3) 平臺漏斗實現

　　基於 ClickHouse 的 windowFunnel 函式做有序漏斗分析，在所定義的滑動視窗內，依次檢索事件鏈條。函式在這個事件連上觸及的事件的最大數量。

　　a.實現邏輯：　　

　　b.效果展示：　　

　　 5 總結

　　基石BI在滿足傳統BI工具資料對接、資料查詢的功能基礎上，加強了看板展示和基於演算法模型的資料分析能力，目前已經應用到集團投放月報分析推送、運營分析渠道效果展示等日常分析工作，很好的滿足資料分析人員對資料探勘和資料利用的需求。不但提高工作效率 ，也更深層挖掘資料變化原因，提升資料使用價值，對資料進行全面的監控和分析，及時發現異常點和風險點，為制定決策和快速發展提供準確及時的資料保障。未來平臺會在實時資料效果分析、智慧報告、智慧預警監測方面不斷最佳化更新，讓資料更深層的服務於業務，創造更大價值。