如何用資料倉儲管理海量資料？直接訪問資料倉儲資料時的4個限制

有時候資料倉儲中需要進行管理的大量資料是一個重要問題。建立簡要記錄是大量資料管理的一種有效技術。在把操作型環境中的詳細記錄轉入資料倉儲中簡要記錄的過程中，資料量的降低是顯著的。一般通過建立簡要記錄可以使資料量降低2～3個數量級。由於這種可能性，建立簡要記錄是每一個資料體系結構設計人員手中很強有力的一種技術。事實上，與其他設計或資料管理技術相比較，要想在資料倉儲中有效地管理大量資料，那麼建立簡要記錄應該是資料倉儲體系結構設計者應該考慮的首選技術和最強有力的技術。


然而，採用這種方式也有其不足之處。當採用簡要記錄方式的時候，必須清楚的是這樣將會失去資料倉儲的一些能力或功能。首先，只要實現資料的聚集，資訊的詳細程度就會降低。但有時，詳細程度的降低不一定是壞事。這時的設計者必須能夠保證詳細程度的降低對於利用該資料倉儲進行決策支援的分析人員來講是無關緊要的。資料倉儲構造者保證所丟失的細節並不特別重要的第一道防線(最簡單有效的)就是重複建立簡要記錄。這樣設計人員就有了很好地控制改變的靈活性。簡要記錄內容設計的第一遍為第二遍提供依據，依此類推。


只要資料倉儲開發過程中每一遍走得很小，很快。就不至於在簡要記錄中忽略對終端使用者來講是重要的某種要求。但是當簡要記錄的創立和開發的第一遍走得非常大，設計者可能會把他們自己帶入危險的境地。此時，由於資料倉儲相當大，它的內容不能被仔細改動而導致重要細節的忽略，使設計人員可能使自己陷於難堪的境地。


可以保證重要細節在簡要記錄的建立過程中不被丟失的第二種方法(可以和第一種共同使用)是在建立簡要記錄的同時建立歷史細節的備用層。

這種備用的細節並不會被經常用到。它被儲存在較慢的便宜的順序讀取的介質上。在任何情況下都不容易訪問到，使用起來相當麻煩。但是一旦需要的話，細節確實是存在的。當管理部門確實需要這些資訊的時候，它們總可以被找到，儘管需要花費一些時間和金錢。


資料倉儲資料的直接訪問


在那些最簡單的動態的資料迴流，即由操作型環境對資料倉儲環境進行直接的資料訪問。在操作型環境中向屬於資料倉儲的資料提出了訪問請求。這個請求被傳送到資料倉儲中，然後找到所需要的資料，接著再傳輸到操作型環境中。很明顯，從動態的角度來看，傳送過程的實現不會是簡單的。



在直接訪問資料倉儲資料的過程中，有一些嚴格的、不能讓步的限制。


下面列出了一些這類限制。


■ 從響應時間的角度來講，這個請求必須能夠忍受冗長的響應時間。它可能在經過24個小時後才被響應，這意味著請求資料倉儲資料的操作處理並不具有線上特性。
■ 所請求的資料量必須是最小量的。資料的傳輸是以位元組計的，而不是兆位元組或千兆位元組。
■ 管理資料倉儲所用到的技術必須與管理操作型環境所用到的技術一致，如容量、協議等。
■ 從資料倉儲取得的準備傳輸到操作型環境的資料必須不做或做最小的格式化。

這些條件限制了資料從資料倉儲到操作型環境的資料傳送。很容易明白在資料的直接訪問時為什麼僅僅有少量的資料迴流。