資料倉儲 ODS簡介

ODS（Operational Data Store）是體系結構中的一個可選部分，ODS具備的部分特徵和OLTP系統的部分特徵，它是“面向主題的、整合的、當前或接近當前的、不斷變化的”資料。

一般在帶有ODS的中，ODS都設計為如下幾個作用：

1、在業務系統和資料倉儲之間形成一個隔離層

一般的資料倉儲應用系統都具有非常複雜的資料來源，這些資料存放在不同的地理位置、不同的資料庫、不同的應用之中，從這些業務系統對資料進行抽取並不是一件容易的事。因此，ODS用於存放從業務系統直接抽取出來的資料，這些資料從、資料之間的邏輯關係上都與業務系統基本保持一致，因此在抽取過程中極大降低了資料轉化的複雜性，而主要關注資料抽取的介面、資料量大小、抽取方式等方面的問題。

2、轉移一部分業務系統細節查詢的功能

在資料倉儲建立之前，大量的報表、分析是由業務系統直接支援的，在一些比較複雜的報表生成過程中，對業務系統的執行產生相當大的壓力。ODS的資料從、組織方式等各個方面都保持了與業務系統的一致，那麼原來由業務系統產生的報表、細節資料的查詢自然能夠從ODS中進行，從而降低業務系統的查詢壓力。

3、完成資料倉儲中不能完成的一些功能

一般來說，帶有ODS的體系結構中，DW層所儲存的資料都是進行彙總過的資料，並不儲存每筆交易產生的細節資料，但是在某些特殊的應用中，可能需要對交易細節資料進行查詢，這時就需要把細節資料查詢的功能轉移到ODS來完成，而且ODS的按照面向主題的方式進行儲存，可以方便地支援多維分析等查詢功能。

在一個沒有ODS層的應用系統體系結構中，中儲存的資料粒度是根據需要而確定的，但一般來說，最為細節的業務資料也是需要保留的，實際上也就相當於ODS，但與ODS所不同的是，這時的細節資料不是“當前、不斷變化的”資料，而是“歷史的，不再變化的”資料。

在資料倉儲設計方法和資訊模型建模方法中，前人的著作對各種思路和方法都做過大量的研究和對比，重點集中在ER模型和維模型的比較和應用上。根據我們的實踐經驗，和維模型在資料倉儲設計中並非絕對對立，尤其在ODS設計上，從的角度來看資料之間的關係，以ER模型最為清晰，但從實現出來的資料結構上看，用維模型更加符合實際的需要。因此孤立地看或者維模型都缺乏科學客觀的精神，需要從具體應用上去考慮如何應用不同的設計方法，但目標是一定的，就是要能夠把企業的資料從到微觀能夠清晰表達，並且能夠實現出來。

在ODS的概念定義中，已經描述了ODS的功能和特點，實際上ODS設計的目標就是以這些特點作為依據的。ODS設計與DW設計在著眼點上有所不同，ODS重點考慮業務系統資料是什麼樣子的，關係如何，在業務流程處理的哪個環節，以及資料抽取介面等問題。

第一步：資料調研

資料調研的內容和要求，在《調研規範》文件中做了詳細定義，此處不再重複。

第二步：確定資料範圍

確定資料範圍實際上是對ODS進行主題劃分的過程，這種劃分是基於對業務系統的調研的基礎上而進行的，並不十分關心整個資料倉儲系統上端應用需求，但是需要把上端應用需求與ODS資料範圍進行驗證，以確保應用所需的資料都已經從業務系統中抽取出來，並且得到了很好的組織。一般來講，主題的劃分是以業務系統的資訊模型為依據的，設計者需要綜合各種業務系統的資訊模型，並進行宏觀的歸併，得到企業範圍內的高層資料檢視，並加以抽象，劃定幾個邏輯的資料主題範圍。在這個階段，以表示資料主題關係最為恰當。第二步：根據資料範圍進行資料分析和主題定義　在第一步中定義出來了企業範圍內的高層資料檢視，以及所收集到的各種業務系統的資料，在這一步中，需要對大的資料主題進行分解，並進行主題定義，直到每個主題能夠直接對應一個主題資料模型為止。在這個階段，將把第一步生成的每個ER圖中的實體進行分解，分解的結果仍以ER表示為佳。

第三步：定義主題元素

定義維、度量、主題、粒度、儲存期限

定義維的概念特性：

維名稱，名稱應該能夠清晰表示出這個維的業務含義。

維成員，也就是這個維所代表的具體的資料，

維層次，維成員之間的隸屬與包含的層次關係，每個層次需要定義名稱

定義度量的概念特性：

度量名稱，名稱應該能夠清晰表述這個度量的業務含義

定義主題的概念特性：

主題名稱和含義，說明該主題主要包含哪些資料，用於什麼分析；

主題所包含的維和度量；

主題的事實表，以及事實表的資料。

定義粒度：

主題中事實表的資料粒度說明，這種粒度可以透過對維的層次限制加以說明，也可以透過對事實表資料的業務細節程度進行說明。

定義儲存期限：

主題中事實表中的資料儲存週期。

第四步：迭代，歸併維、度量的定義

在ODS中，因資料來自於多個系統，資料主題劃分時雖然對資料概念進行了一定程度上的歸併，但具體的業務程式碼所形成的各個維、以及維成員等還需要進一步進行歸併，把概念統一的維定義成一個維，不允許同一個維存在不同的實體表示（象不同的業務系統中一樣）。

第五步：物理實現

定義每個主題的資料抽取週期、抽取、抽取方式、資料介面，抽取流程和規則。

物理設計不僅僅是ODS部分的資料庫物理實現，設計資料庫引數、引數、資料儲存設計之外，有關資料抽取介面等問題必須清晰定義。