京東自營和商家自運營模式，以及伴隨的多種運營視角、多種組合計算、多種銷售屬性等資料維度，相較於行業同等量級，資料處理的難度與複雜度都顯著增加。如何從海量的資料模型與資料指標中提升檢索資料的效率，降低資料存算的成本，提供更可信的資料內容和多種應用模式快速支撐業務的資料決策與分析，是資料團隊去年聚焦解決的核心課題。

過程中基於RBO、HBO等多級加速引擎、基於代價與場景消費的智慧物化策略、基於One Metric的異構融合服務、基於One Logic語義層的離近線上轉換以及基於圖形語法和多端一體的視覺化工具，聯合GPT技術的智慧問答系統chatBI，顯著提升業務數字化決策效率，過程中也沉澱了多篇軟著與多項技術專利。對於多級加速引擎與智慧物化策略，行業普遍採用cube預計算+快取模式，京東創新性落地了基於主動後設資料的口徑定義以及基於資料消費場景與消費頻次的正負反饋動態決策，確保整個資料鏈路的存算分配“當下最優”，同時相較於粗粒度的物化策略，模型生命週期參考儲存代價配置，資料查詢鏈路根據RT表現動態定址，這樣使得資料生產與資料消費形成互動反饋鏈路，決策依據更加豐富，決策粒度更加精準。

基於圖形語法和多端一體的視覺化能力打造層面，京東JMT資料視覺化能力可以依託底層指標中臺快速進行智慧診斷與歸因，相較於tableau等頭部解決方案，融入了更多圖形語法同時可靈活適配多端多場景。

結合AIGC技術的智慧問答系統chatBI，基於業務知識與資料資產的Prompt工程，使用本地大模型SFT對實體進行embedding，透過指標統一DSL取代了行業普遍NL2SQL的解決方案，很好解決了人為意識到資料語言的轉換難題，所消耗晶片規模也顯著優於行業水平，在資料智慧分析診斷系統裡準確率大幅領先。

以上核心技術透過23年的打磨與應用，資料指標開發與共享效率大幅提升，分析看板搭建時間從天級別縮短到小時級別，且業務使用者逐漸可以進行自交付，解決了集中式研發的人力瓶頸，日均指標消費頻次從23年初的百萬級增長到年末的數千萬；在23年基礎之上，我們未來還將在資料加速、智慧物化、智慧診斷、大模型應用等方面持續深耕，不斷最佳化資料存算成本，提升資料應用的效率、體驗。

依託於京東資料資產的完備性、資料能力的自動化與資料應用的智慧化，結合業務場景真實遇到的痛點問題，我們積累了一些經驗， 本文將透過如下幾個章節進行分享交流：

背景與挑戰

資料統一語言

目標：如下圖所示，拉齊資產建設者和資產消費者之間的溝通語言，提升找表效率、增強表的可解釋性。

透過資料維度建模的三個階段(概念模型、邏輯模型、物理模型)，形成描述模型的標準定義。

• 概念模型

舉例：交易的業務流程圖：

• 邏輯模型
  

• 物理模型

資產認證

• 以使用者反饋問題出發，完善和最佳化資料標準5W2H，使其確保資料資產清晰易理解的目標達成；
• 依據樣板間的效果反饋，完善樣板間的功能和內容，並推廣到其他主題資產；

• 加強資料資產運營，擴充套件渠道，提升使用者找數用數體驗。

{    "indicators": [      "ge_deal_standard_deal_ord_amt"    ],    "attributes": [      "shop"    ],    "criteria": {      "criterions": [        {          "propertyName": "main_brand",          "values": "8557",          "type": "string",          "op": "="        },        {          "propertyName": "dt",          "value": "2023-12-21",          "type": "string",          "op": "="        },        ...      ],      "orders": [        {          "ascending": false,          "propertyName": "ge_deal_standard_deal_ord_amt"        }      ],      "maxResults": 5,      "firstResult": 0,      "group": [        "shop"      ]    }}

在資料驅動業務運營的策略下，以高效靈活、場景化、智慧化為目標，整合資料資產和工具，以視覺化元件和低程式碼平臺為核心，打造黃金眼、商智等標杆的資料應用，實現對不同業務場景的快速賦能。我們透過持續建設系統能力，賦能看板、報告、大屏、分析、提數等多個業務場景，同時從4大方向縱向拉通系統質量保障建設，提升系統穩定性，最終實現在複雜多變的業務場景下，透過功能插拔、動態配置，構建一站式的解決方案。

整體來看，資料分析視覺化的能力建設，主要可以分為PC端能力建設和移動端能力建設兩個方向，接下來將從PC端的分析視覺化元件建設、低程式碼編排、資料推送，以及移動端能力建設和多端一體建設幾個方向，詳細介紹資料分析視覺化的核心技術方案以及在業務中的應用。

詳細設計展開

• DATA：一組從資料集建立變數的資料操作
• TRANS：變數轉換（如排序）
• SCALE：度量（如對數）
• COORD：一個座標系統（如極座標）
• ELEMENT：圖形及其藝術審美屬性（如顏色）
• GUIDE：一個或多個輔助物（如軸線、圖例）

和傳統列舉圖表相比，使用圖形語法生成每一個圖形的過程就是組合不同的基礎圖形語法。故而它的靈活和強大之處就在於，只需要改動其中某一步驟，就能得到完全不同的、全新的圖表。

基於靈活的圖形語法理論基礎，沉澱了大量視覺化分析能力，接下來將具體介紹幾種特色能力。

杜邦分析

• 佈局策略：設計12種佈局方案，分為兩大類：垂直方向（自頂向下、自底向上）、水平方向（自左向右、自右向左），透過d3-hierarchy對層次結構資料進行佈局計算，實現node佈局。
• 節點關係：node節點關係繪製（父子、兄弟）、node節點輔助資訊繪製（提示、預警等），實現關係ICON位置計算、輔助資訊位置計算。
• 互動：設計了收縮展開、縮放能力，支援大數量圖表的互動，透過viewBox實現。
• 異動分析

• 指標卡：整合指標卡全部功能，並透過對異常指標的特殊標識來達到預警能力
• 流轉線：反映指標間的轉化關係
• 標題：業務流程的標識

主要的實現流程如下：

最終在商家異常全鏈路監測需求中使用網格指標卡元件，針對3個環節、7個模組、19類的核心指標與異常型別商家數量，讓使用者能夠從商家經營整體環節透過預警功能進行風險監控和異常定位。

為解決複雜的資料分析場景，建立了一種基於React技術自研的交叉分析表格元件，將常見的表格操作與交叉資料分析的思路結合起來：在傳統可下鑽表格的基礎上，創新地抽取分析動作層，能夠類比資料分析中的切片、切塊和下鑽思路，進行資料分析，使用時允許使用者在多個合法維度中選擇，形成一條自定義下鑽路徑，成功地實現多種維度下，在表格中進行可下鑽的交叉資料分析，滿足了多元複雜的資料分析需求。

具體的實現原理是將表格的上卷下鑽邏輯與交叉資料分析邏輯結合起來，這裡面的重點處理在於對從呼叫引數中過濾條件、維度欄位和指標欄位的進行動態處理，從而實現交叉分析的資料獲取查詢。首先，對維度欄位和指標欄位分別進行遍歷，能夠獲取到過濾條件、維度欄位和指標欄位這三種引數，對於同一個表格來說，資料查詢的返回欄位是一致的，於是在每一次遍歷中，都可以在查詢欄位結果中增加一項，用於構建最終資料查詢的結果集；接下來，從第一步觸發下鑽的的動作中，獲取到父層級的維度資訊和具體的值，設定為過濾條件，透過這一步，可以查詢出當前父級條件下的資料；接下來，同理如果該維度是子級維度，那麼就把該維度條作為聚合維度進行操作；最後，將上述封裝好的操作條件，傳遞給後端進行查詢，並將獲取到的資料，根據父級指標的維度值，拼接到該項的子節點欄位中，這樣便語義化的可以了“在父級維度某個維值的過濾條件下，按子級維度聚合的”資料，再整體將最新的資料拼接到的表格資料中，至此便實現了交叉資料分析的分析動作。

同時，基於自動分析結果，還可以進一步透過多因素分析等視覺化分析元件進行更深入的探查。基於表格元件，透過元件聯動能力，組合多個表格形成聯動下鑽分析。

首先是自研了基於MVC模型的JMT狀態管理框架，在redux的基礎上，升級了狀態的更新和變化響應機制，支援複雜非同步狀態管理，以一種通用狀態模型支撐了資料產品邏輯的配置化。

其次是基於JMT元件庫自研了視覺化編排系統，一方面，透過多種靈活的佈局元件，支援複雜頁面佈局的編排。另一方面，提供了靈活的元件配置皮膚，除常規樣式的編排外，還充分發揮底層資料視覺化能力，支援如杜邦分析等指標關係的編排。此外，透過對底層React框架的靈活使用，創新元件巢狀機制，支援視覺化元件互相嵌入形成聯動分析，如在杜邦分析中既展示GMV的拆解，也展示GMV的達成進度等。

第三是構建資料產品特有的資料集編排系統，支援對資料資產、EasyData等多種資料來源，透過編排維度、指標、過濾構建資料分析模型，並基於圖形語法技術將視覺化元件和資料服務的olap能力做充分打通，實現資料驅動視覺化。

第四是自研了一套程式碼生成和注入系統。視覺化編排和邏輯編排使用一套標準Schema進行驅動，在頁面釋出時，會基於Schema，結合React和JMT狀態管理，自動生成程式碼。此外，對於頁面中的尚未被元件功能覆蓋的個性化邏輯，可以透過程式碼注入，配合JMT函式庫快速解決。在百億補貼等緊急需求中，程式碼注入功能解決了大量個性化邏輯，在時間緊任務重的情況下，保質保量交付需求。

下圖梳理出任務處理的關鍵流程：素材處理服務（Node）主要承擔推送任務消費及提供獲取素材的HTTP服務兩大功能。在任務消費過程中，素材處理服務會模擬使用者許可權開啟瀏覽器去做頁面Canvas影像轉換、看板截圖、PDF生成等操作。如果觸達方式為郵件，則會將所有素材填充生成為Email Html文字檔案，透過回撥返回給後端，推送給使用者呈現的內容是資料看板。

在處理階段，由於Canvas物件是Web API的一部分，只能在瀏覽器環境中使用。而常用的Node下操作Canvas的工具包幾乎都依賴底層的圖形庫，例如Cairo或Skia等。這對於開發環境（MacOS）和部署環境（CentOS）不一致的研發來說，除錯難度較大。為了解決這個問題，透過Node.js環境提供的Buffer物件承接Canvas物件的Data URL，配合JPEG影像編解碼器處理。這樣就無需考慮底層圖形庫的相容性和安裝問題，實現素材圖片的順利生成。

透過複用PC端的低程式碼編排能力，利用jmtm基礎元件庫和jmtm-charts圖表庫，能夠快速搭建起移動端的數智化分析功能。

針對移動端看數場景，使用自研的主題配置工具：將元件字號、顏色、圓角、尺寸等樣式變數化，從而可以根據具體需求進行靈活配置。其中色板變數的引入保證了元件庫的底色充足，而公共變數的使用則提高了配置效率。另外我們還引入元件變數，實現個性化的定製需求。支援線上預覽和一鍵釋出等功能：使用者可以透過線上預覽功能，在配置過程中即時檢視效果；一鍵釋出功能則可以快速將配置好的主題應用到移動端低程式碼平臺中。

展望未來，我們會持續打磨現有能力，並不斷結合新的業務場景和行業調研，沉澱新的資料視覺化分析能力。首先在智慧化方向上，會基於圖形語法的視覺化理論，並整合AI等能力，建設增強分析能力，打造增強圖表和自動化報表，實現自動洞察資料關聯、異常及趨勢等，將資料分析從描述性分析躍升到預測性分析和決策性分析；同時在質量體系建設方面，會從監控預警、程式碼質量等方向持續建設，在不斷提升交付效率的同時持續提升交付質量：最終期望能夠透過資料分析技術能力的綜合運用，降低研發成本，提升研發效率，完善使用者體驗，高效推進人人都是分析師的戰略落地。

對於京東複雜的業務和資料體系，大模型在資料服務領域的應用很有價值，同時也面臨著挑戰。當前的架構設計充分考慮了已具備的底層資料服務能力，結合LLM實體識別、上下文推理、決策輔助能力將使用者查詢與複雜資料集的相關指標匹配，實現快速準確的資料查詢。透過NER識別將使用者的篩選條件、查詢指標、聚合方式抽取出來，利用Norm(歸一化)把實體轉換成標準資料服務的呼叫引數，並且構建索引將歸一化依賴的資料資產進行儲存，來實現自然語言查詢準確資料的全鏈路，與此同時，建立完善的評估體系、利用本地模型最佳化等機制，不斷提升應答準確率，為使用者帶來更優質的使用體驗。

基於業務知識和資料知識的Prompt工程

• 目標確認：針對使用者對資料的訴求，整理使用者問題確定輸入資料，基於不同任務目標確認不同輸出格式，如實體識別輸出標準格式的{實體類別：實體名稱}，指令生成輸出標準格式的{分析能力：分析指令}等。
• 工程建設：確認目標後，從環境預設、指令描述、輸出規範等角度生成規範Prompt，不斷微調輸入結合業務知識的個性化案例。並透過中英互譯、預設負樣本、增設輸出校驗和邊際檢驗、動態Prompt生成等方案最佳化，兼顧時效性的同時，提高輸出結果的穩定性和準確性。

• 精確匹配：入參型別、指標名稱或id、使用者許可權多維度疊加判斷得到精準結果；
• 相似性匹配：在精準匹配沒有結果之後，使用大模型對實體進行embedding操作，從庫裡查詢出相似度最高的結果；
• 建立索引：對實體建立別名層，滿足使用者個人習慣，如部門的簡稱、指標的別名，來提升識別準確率；
• 使用者行為資料輔助：透過使用者在資料產品、資料工具等系統的行為資料，生成使用者對指標、篩選條件、聚合維度的偏好資料，輔助提升準確率。

• 樣本設定：採用人工樣本和大模型生成樣本結合的方式，快速、多頻次對不同句式、不同場景的問答（1000+）做評測，來保障樣本的多樣性和豐富度。
• 準確率測評：透過批次呼叫介面返回大模型結果，離線程式碼支援批次結果自動化比對，從而高效輸出任務的準確率、時效性等指標，同時同一批樣本會多次呼叫來評估任務的穩定性。
• 構建產品功能：使用者可以在答案上點贊或點踩來反饋滿意度，產品側持續針對使用者反饋問題進行階段性最佳化。

基於LLM對prompt工程輸入token數量的限制及資料隱私安全的考量，我們也選用本地大模型進行Fine-tuning。它涉及在一個預訓練模型的基礎上進行額外訓練，以使其更好地適應特定的任務場景，實現準確率提升和影響時長降低，具有很好的效果。

• 按場景構建多樣化問題庫，如單/多指標查詢、分維度查詢、維度id和name查詢、排序查詢等
• 按查詢因素構建變數知識庫，建立時間、指標、維度、篩選條件知識庫，方便後續新增場景的快速擴充

模型訓練前後準確率對比提升明顯

• 描述性分析，如銷量達成情況、趨勢分析、摘要總結
• 探索性分析，如維度拆解、相關性指標推薦、異常值識別等

• 資料查詢提效：透過自然語言對話，完成快速資料指標查詢，單次查詢時效降至7.8秒，大大降低使用者資料獲取的時間，並且很好的支援了使用者個性化需求的滿足；
• 資料分析賦能：依託豐富指標維度資料，透過思維鏈實現自動化資料分析，並依據使用者的習慣喜好等選擇更貼合的資料路徑，非“分析師”角色使用者輕鬆實現多場景的快速智慧分析

• 資料消費擴充：透過產品賦能，為每一個使用者配置一個專屬的AI資料分析師，可以擴大資料消費使用者的規模，並且大幅提升資料消費的能力，支援業務應用資料驅動決策