作為資料應用場景基石的資料模型應該如何構建?Smartbi來教你!
當業務體量到了一定程度,業務模型有了一定的穩定度,
的構建就顯得尤為重要。資料模型是保證資料口徑統一、提升資料質量的核心,是後續快速高效迭代支援更復雜資料應用場景的基石。
那麼,應該如何構建資料模型呢?
01 確定模型主題
業務由很多場景組合而成,資料模型的構建需根據業務場景進行主題分類,所以如何確定主題分類呢,可參考如下幾個原則:
每個主題都是最底層的原始主題,即衍生的指標都是基於這些主題域的資料計算得來的;
企業經營的業務組成模組可作為參考;
主題之間有一定的交叉銜接關聯,但是呢,又需各領風騷,各自獨立;
主題之間有依附關係,有些主題是基於更基礎的主題衍生得來的。
02 基於確定的主題,梳理需求
需求梳理是核心,做好需求的梳理是很關鍵的,要做到以下幾點:
已經發生的資料需求場景需全部囊括,記住是全部哦
未來可能會有哪些場景發生呢,亦需囊括。
那我們如何可以做好呢? 可以參考以下幾種做法:
常用報表,整理已經產生過的所有報表需求;
臨時資料,整理已經產生過的所有臨時需求;
SOP流程,SOP流程是梳理需求的靈魂,掌握這個,是所有工作的核心,但如何把這個利用好呢,有個小技巧,把流程中每個環節可能需要看資料的度量值、維度全都窮舉出來。
基於以上三步,整理出全部需要看資料的場景,再進行完整的系統性的梳理。
03 資料計算規則
這個環節是最最最需要細心和耐心的,一旦錯誤,整個資料模型就大打折扣
要做好,有幾個難點需要特別注意:
雜:業務系統複雜多源,比如有營銷系統、庫存系統、結算系統等等;
多:資料來源表很多很多;
像:同一個指標,如損耗,在A系統和B系統都有,聽起來貌似都是我們要的,那我們到底應該用哪個呢?他們有何不同?
04 資料驗證
資料質量是資料應用的核心基礎,資料驗證是非常重要的一環,若質量把控不夠嚴格,後續所有的行為都可能有偏差甚至錯誤,所以做好資料驗證很關鍵。
上面介紹了資料模型的構建思路,那麼我們要怎麼落地呢?其實現在有的BI產品就已經可以構建資料模型了,並不需要依賴資料倉儲。例如由廣州思邁特軟體推出的Smartbi V10就整合了資料模型功能,它使分析人員具有資料再加工的能力,自由調配“資料原料”,並由裡及外,以點帶面,極大提升了資料分析的靈活性,像藝術創作一樣自由分析。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965912/viewspace-2853083/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Redis的資料結構及應用場景Redis資料結構
- Redis的資料結構與應用場景Redis資料結構
- 基於Apache Hudi構建資料湖的典型應用場景介紹Apache
- String資料型別的應用場景資料型別
- 圖資料庫及應用場景資料庫
- sorted set 資料型別的應用場景資料型別
- [譯] Java 資料流的不同應用場景Java
- 圖資料庫有哪些應用場景?資料庫
- HTAP資料庫及應用場景分析資料庫
- redis資料型別及應用場景Redis資料型別
- 資料結構之Redis應用~常用命令~應用場景(重點)資料結構Redis
- ZooKeeper分散式專題(二) -- zookeeper應用場景及資料模型分散式模型
- Redis五種資料型別應用場景Redis資料型別
- 洞見RSA 2021|大資料場景下的安全資料分析及威脅模型構建大資料模型
- redis的五種資料型別及應用場景Redis資料型別
- 如何構建資料倉儲模型?模型
- 2020年,政務資料安全應該如何建設?
- 為全場景應用打Call,西部資料的新儲存平衡術
- 深入淺出FaaS應用場景:資料編排
- RAG場景、資料、應用難點與解決
- 電商API原資料介面的應用場景API
- 資料應用場景之標籤管理體系
- 基於 EventBridge 構建資料庫應用整合資料庫
- Redis 5種資料結構及對應使用場景Redis資料結構
- 六種機率資料結構的詳細解釋及應用場景資料結構
- 流式圖計算在螞蟻大資料場景的應用大資料
- Web元件 – 構建商業化應用的基石Web元件
- 通過一個很常用的場景來展示vue資料驅動的應用Vue
- 全場景資料保護儲存應用趨勢
- 挖掘空間資料要素典型領域應用場景
- 企業資料平臺建設的基石:構建統一的資料存算能力
- 應用中如何使用適當的資料結構資料結構
- 資料湖Iceberg技術在小米的落地與場景應用
- 談談如何構建企業級資料市場啟用資料要素
- 什麼場景應該用MongoDB ?MongoDB
- 分散式資料庫核心系統應用場景和需求分散式資料庫
- 變更資料捕獲CDC幾種應用場景 - RTInsights
- 融合資料庫生態:利用 EventBridge 構建 CDC 應用資料庫