資料分層：打造資料資產管家｜得物技術

來源：得物技術

隨著企業資料規模的增長，資料的價值變得越來越重要。然而，傳統的資料庫在承載大量資料時面臨挑戰，需要高效有序的維護。因此，建立高效的資料倉儲成為了企業決策和管理的基石，但現代技術的背景下，資料管理和保護仍然存在著重要挑戰。

為了解決這些挑戰，資料分層成為了數倉建設中不可或缺的步驟之一。透過對資料的分層整理，不同的資料可以被合理地分類，方便企業快速進行資料分析和決策。

在實際應用中，資料分層需要進行靈活而有效的規劃和設計，並結合相關的技術和工具進行管理和監控。只有這樣，企業才能提高決策和管理的效率，增強市場競爭力。

資料分層前後對比

簡單來說，資料分層是將現實世界中收集到的有效資訊，按照其特點和用途進行分類和組織，從而更加合理地表現資料的價值。資料分層解決了資料管理中的各種挑戰和問題，並滿足了以下幾個方面的需求：

1. 資料量和質量——提高資料管理效率和準確性

• 隨著企業資料不斷增長，資料量龐大且多樣化，資料質量也面臨挑戰。

• 資料分層可以對不同的資料類別進行基本的資料清洗和整理，從而提高資料的質量和可信度。

• 常見的資料類別包括：

• 數值型資料（如銷售額、成本等）

• 文字型資料（如檔案、文件等）

• 影像型資料

• 影片型資料

• 音訊型資料

• 不同資料來源和系統中的資料結構和格式差異巨大，使得資料之間無法直接進行比較和整合。

• 資料分層透過對不同的資料類別進行轉換、整合和標準化，以實現資料的一致性和互操作性。

• 常見的資料類別包括：

• 結構化資料（如關係型資料庫中的表格資料）

• 半結構化資料（如JSON、XML等非嚴格格式化資料）

• 非結構化資料（如文字、日誌等無固定格式的資料）

• 隨著多個部門和使用者共享資料的需求增加，需要確保資料的定位清晰且能夠進行精確的許可權控制。

• 資料分層可以明確每個資料類別的歸屬和訪問許可權，保障資料的安全性和隱私保護。

• 常見的資料類別包括：

• 個人身份資料（如個人身份證號碼、手機號碼等）

• 機密資料（如公司財務資料、合同等）

• 敏感資料（如使用者的健康狀況、信用卡資訊等）

• 資料處理過程中不合理的流程和冗餘操作可能導致資料的重複和浪費。

• 資料分層可以建立規範和最佳化的資料處理流程，以提高資料處理的效率和準確性。

• 常見的資料類別包括：

• 處理過程中生成的臨時資料

• 派生資料（如計算指標和資料探勘結果）

• 整合資料（如資料倉儲中的整合資料）

• 透過對資料進行歸檔和壓縮，可以減少儲存空間的佔用。

• 根據資料的使用頻率和價值，將不常訪問的資料歸檔到較廉價但仍可靠的儲存介質中，從而釋放出更多高速和高成本儲存裝置的儲存空間。

• 常見的資料類別包括：

• 歷史資料（如過去幾年的銷售訂單資料）

• 備份資料（如系統的資料庫備份）

• 歸檔資料（如長期儲存的審計日誌）

瞭解了資料分層的一些優勢，大家可能就有疑問了。我們如何進行資料分層呢？大概需要分幾層呢？

其實這個問題需要根據實際的業務狀況以及需要處理的資料體量來進行劃分，介紹分層之前，我們們先來了解下會有哪些分層，每層的作用和目的是啥。

下面以一個網際網路線上學習平臺為例：

如果想要從學生、教師和課程等不同維度進行深入的資料分析和挖掘，則單一的資料來源無法滿足這一需求，必須進行資料分層，將資料按照不同的層次進行清洗和整合，並與不同維度的資料進行連線和關聯。如果不進行資料分層的處理，資料的管理和維護將變得非常困難，同時也會導致資料的準確性和可靠性受到影響。

此外，如果各個業務之間的資料互動和處理沒有進行最佳化和規劃，資料處理在不同業務之間的流轉和傳遞就會變得十分複雜，這對平臺的運營效率和效果產生不良影響。同時無法為使用者提供更好的個性化服務，因為個性化服務需要對使用者的屬性、偏好和需求進行深入的瞭解和分析。

因此，資料分層處理對於線上學習平臺的最佳化是十分必要的：

從這個案例可以分析出，透過資料分層設計帶來如下價值：

1. 更準確的資料收集和管理：透過ODS層的運算元據層，平臺可以對學生和教師的註冊資訊、學習行為資料進行更準確地收集和管理，保證資料的真實可靠性。

2. 更深入的資料分析：藉助DWD層的資料倉儲明細層，平臺可以深入分析學生的學習行為，如觀看影片的時長、做題的次數等。同時，透過課程維度表的建立，也可對課程資訊進行更詳盡的分析。

3. 更全面的資料彙總：在DWS層的資料倉儲彙總層中，平臺可以對學生的學習行為和成績情況進行詳細彙總、分析和展示，同時可以綜合考慮課程資訊，製作出更詳盡的報告。這樣做可以方便平臺進行更全面的資料分析和統計，也可為教師和學生提供更有效的反饋和建議。

4. 更靈活的資料維護：在DIM層的維度資料層中，平臺可以對學生、教師和課程等屬性資訊進行維護和管理，方便後續資料分析和應用。同時，這些維度表也可以根據實際需求不斷調整和擴充套件，增強平臺的資料分析和應用能力。

5. 更精準的資料應用：在ADS層的應用資料層中，平臺可以根據學生和教師的資料情況，進行更精準的教學評估、學習進度分析和課程推薦等功能。這樣，平臺可以為教師和學生提供更精準、個性化的服務，提高使用者體驗和平臺價值。

由上述案例可見，資料倉儲的分層設計具有諸多價值，能夠提升資料管理效率、簡化複雜問題處理、提高資料複用能力，併為平臺提供規範化的資料管理和分析支援:

1. 提供方便使用的資料結構：透過規範化的資料分層設計，使得學生、教師和課程等不同維度的資料能夠被清晰地定位和理解，方便使用方進行資料分析和挖掘。

2. 追溯資料來源頭：分層後的資料血緣關係清晰明確，能夠快速準確地追蹤資料的來源，幫助使用者瞭解資料的可靠性和可信度。

3. 提高資料的維護效率：透過資料分層的規範化設計，可以減少資料開發的工作量，節約計算和儲存資源的使用，同時方便維護人員進行資料管理和維護操作。

4. 簡化複雜問題的處理：將複雜的業務問題劃分為多個步驟，並在每一層只處理單一的步驟，有助於提高問題的可控性和可理解性。當資料出現問題時，只需要修復有問題的部分，而不需要對所有資料進行修復。

5. 提升資料的複用能力：透過規範化的資料分層設計，可以開發一些通用的中間層資料，減少重複計算，提高業務表的使用率，從而提升系統的執行效率。

6. 減少業務變化的影響：由於業務可能會經常變化，透過資料分層設計，無需每次業務變化都重新接入資料，降低了對業務的影響和改動的成本。

7. 統一資料指標口徑：透過資料分層設計，提供統一的資料出口和對外輸出的資料指標口徑，保證資料的一致性和統一性，為平臺提供規範化的資料管理和分析支援。

員工滿意度資料分析中，存在以下痛點需注意：

• 業務邏輯複雜：為維護員工隱私，指標的計算需要滿足填答人數必須大於3才能出統計資料。這一規則的設計，增加了資料處理的難度，提高資料出錯的風險。

• 複雜的統計維度和指標：統計維度多樣化，包括性別、年齡、司齡、崗位、職級等等，這也給資料的處理和分析增加了難度。

• 業務變更頻繁：員工滿意度調查問卷在不同週期會增加、刪除、變更題目。這也增加了資料處理和維護的難度和工作量。

為了解決上述痛點和需求，我們決定設計資料分層。透過將資料劃分為不同層次，將資料處理、分析和服務化的流程分解成多個獨立部分，從而最大限度地提高資料分析處理的效率和安全性。

資料分層不僅實現了資料的視覺化維護和服務化，還為資料加工、應用和管理提供了更加清晰和規範化的指導方針，從而助力業務的發展和最佳化。

雖然資料分層設計帶來了許多優點和價值，但也存在一些缺點。其中，主要包括以下幾點：

1. 複雜性增加：資料分層設計的實現需要付出一定的設計與維護成本，需要建立與維護多個層級，有時出現資料結構紊亂、重複等問題可能會使得整個資料分層變得更加複雜。

2. 資料冗餘：因為資料分層設計需要建立多個層級，可能會引入一定的資料冗餘問題，導致資料冗餘或重複使用。

3. 需要專業的技術人員：由於資料分層設計需要大量的技術程式設計和資料建模知識，需要專業的技術人員進行開發和維護。這會給公司帶來額外的專業技術成本和困難。

4. 資料倉儲容量問題：隨著資料分層設計的層數增加，資料倉儲的大小和儲存容量也會相應增加，可能會帶來一定的儲存管理問題。

因此，在實際資料倉儲建設中，合理利用資料分層來組織、管理和分析資料是非常重要的。資料分層需要根據實際情況和企業需求來調整。

資料分層在數倉建設中扮演了一個不可或缺的角色。透過按照一定的規則和標準，重新組織和歸納資料，資料分層可以提高資料利用率，加強資料管理，進一步幫助企業開展科學化、精細化的運營管理和決策分析。

隨著資料分析技術的進一步發展，資料分層也必將不斷最佳化和完善。從資料分析工具的不斷升級，到人工智慧和機器學習技術的應用，資料分層必將成為企業資料管理和決策分析的頭號利器。因此，作為企業管理者和資料分析師，必須時刻關注資料分層技術的發展趨勢和變化，及時調整和最佳化自己的資料分層管理方案，保證企業資料管理和決策分析的高效性和準確性。