DW2.0下一代資料倉儲架構_第22章 DW2.0環境中的處理(讀書筆記)

版權宣告：
該系列文章（DW2.0下一代資料倉儲架構）內容系作者學習用筆記，
歡迎共同學習，所載內容版權歸原書作（譯）者所有，請勿轉載商用。

    DW2.0環境的顯著特點是在不同的區域能找到各種型別的資料。從許多方面說，是資料與區域定義了DW2.0.但是系統架構師的角度而言，
DW2.0不僅僅是一個資料架構。另一種方式是透過理解在各種環境或區域下找到的過程來理解DW2.0.DW2.0環境中存在多種型別的事務和過程
也許這些事務中最簡單的就是一個簡單的資料請求了。一個簡單的資料請求是要找出一兩行資料，然後以互動的形式顯示它們。這種簡單的
事務佔用很少量的系統資源並且在邏輯上非常簡單。這種事務經常存在於線上環境中，因為當系統正在執行這類事務時很容易得到優良的
效能。這裡所描述的事務是預先定義的。因為其邏輯是預先確定的，所以終端使用者只不過是運轉使其執行事務。
    複雜事物是簡單事務的一種變形。複雜事物通常比簡單事務檢視更多行的資料，且包含了相當多的邏輯，以及一些簡單事務中所不包含
的東西。如果複雜事務的執行不需要太多的資料，那麼它就可以自由地混入互動區的工作流中，而不會嚴重降低效能。複雜事務幾乎總是預
先確定的，它們僅僅是透過終端使用者來運轉以執行。
    另一種簡單事務的變形是一種基於特定基礎上的事務。特定事務通常非常簡單，不會存在複雜的邏輯。特定事務通常也不檢視太多資料
但偶爾終端使用者也會遞交一個需要檢視大量資料的特定查詢請求。當運轉一個要檢視大量資料的特定事務時，效能就會受到影響。處於這樣
原因，在互動環境中往往沒有太多的特定事務，而在整合環境中的特定查詢才更普遍。在很多情況下，會在資料集市環境中發現特定查詢
請求，而這些請求往往是由商業智慧軟體產生的。實際上，除了引數外，終端使用者不向商業智慧軟體輸入任何東西。一旦寫入引數後，就由
商業智慧軟體生成查詢請求。
    另一類查詢型別是訪問請求。訪問請求與簡單的訪問請求查詢的不同在於訪問請求往往要訪問大量的資料。訪問請求的邏輯往往非常簡
單，然而它涉及到的資料量可能非常大。分析人員使用訪問查詢來掃描全部資料。有時候出現的僅僅檢視一兩行資料的情況是不能提供所需
要的資訊的。由於需要訪問大量資料，訪問事務通常不會在互動區中執行。如果要在互動區中執行，那也只能在對系統的整體效能沒有損害
的空白時間段執行。相反，訪問事務更常見於在整合區和歸檔區中執行，訪問請求很少在近線環境中執行。
    DW2.0環境中的另一種常見的處理時轉換處理。轉換處理對整體資料進行訪問、改變以及寫入新檔案。在處理高峰期時，轉換處理幾乎
從不在互動環境中執行。轉換處理通常由複雜的演算法。在有些情況下，轉換處理還包含非常複雜的過程。由於這個原因，一般都是在預先
定義的基礎上編寫轉換處理，而其他形式都不常見，特定的轉換處理在本質上絕不是特定的。
    後設資料是轉換處理的一個副產品。轉換處理所執行的轉換也都是後設資料形成的。因此，作為處理的文件，後設資料被寫出並對DW2.0環境下
的許多人都非常有用。
    轉換處理即適用於結構化資料也適合於非結構化資料。
    統計處理通常包含著複雜的處理邏輯。他們往往是所謂的啟發式處理分析流的一部分。在啟發式處理中，只是在緊接著的上一步分析完
成後，下一步分析工作才比較明顯。因此，啟發式處理需要一種特定的處理過程。
    DW2.0環境的不同部分通常執行不同型別的處理。互動區中有簡單事務和複雜事務，沒有統計處理，沒有訪問處理，只有能在不存在資源
衝突的地方有條不紊的方式執行的事務，換言之，互動環境的工作流用於少量的快速執行的以及有良好秩序的事務。出去這些情況，其他情
況都會終端事務流並且對效能產生消極影響。整合環境執行各種處理。當資料進入整合環境時進行轉換處理。環境一經建立，就執行特定
處理，訪問處理以及複雜處理。整合環境中執行處理的最終結果是混合的工作量，正因如此，系統的整體效能不夠問題。近線區實際上很少
執行處理，然而在歸檔環境中執行的操作往往是資源非常密集的處理。歸檔環境中的普遍處理時統計處理和訪問處理。如果已經建立被動
索引，那麼歸檔環境中的處理通常會很有效，如果沒有，那麼不得不對歸檔環境中的全部資料進行掃描。在歸檔環境中，線上和高效能不是
問題。
    唯一一個處理非結構化資料的環境是整合環境。非結構化整合環境中有多種處理，有簡單處理、簡單特定處理、複雜處理以及訪問處理
另外非結構整合環境放置的資料是非結構化資料經過轉換處理後得到的。

總結：
    處理時DW2.0環境的一部分。DW2.0環境中的一些處理型別包括:簡單事務；複雜事物；轉換處理；統計處理；訪問處理等。由於這些處理
中的資料以及各區的效能特徵，不同型別的處理在DW2.0環境中的不同位置有著密切的關聯。