DW2.0下一代資料倉儲架構_第5章 DW2.0技術基礎設定的流動性(讀書筆記)
版權宣告:
該系列文章(DW2.0下一代資料倉儲架構)內容系作者學習用筆記,
歡迎共同學習,所載內容版權歸原書作(譯)者所有,請勿轉載商用。
對於DW2.0架構而言,面臨一個最大的挑戰是處於一個所採用的技術可以跟業務同樣快速變化的環境中。當商業環境發生變化時,就會
需要新的型別的資訊,而且由於競爭、科技和經濟潮流的改變,對於資訊就會不斷有新的需求。如果一個資料倉儲是建立在難以改變的技術
之上,那麼企業的這種技術就無法適應商業環境。這意味著,雖然對企業來說,技術同資料倉儲本身一樣重要,但就其價值而言往往不是最
佳的。在第一代資料倉儲中採用了傳統的資訊處理技術來儲存技術。因此資料倉儲就是鐵板一塊,對於資料倉儲很難做出很大的改變。DW2.0
認識到並且對上述問題做出相應的處理。業務需求是永遠在發生變化,不同組織間的唯一區別在於改變的速度和範圍。
技術基礎設施
技術基礎設施位於業務之上,支撐業務的完成。因此當業務需求改變時,往往會出現問題。因為當對技術基礎設施的 改變需要很大努力
所以業務總是先於用來支援他的技術出現。保持固定的技術基礎設施有很多充分理由。其核心是流行與系統廠商間的一個概念:當一項技術
被定義之後,這個定義就是固定的。這個基本的觀念在很多情況下都會出現:
1、對DBMS廠商,在一個專案開始定義資料結構的時候
2、對於編譯者,他們認為,一旦指定的處理過程和演算法,他們將會按照這樣的方法長期做下去。
3、BI廠商,他們認為一旦一個查詢被執行,那麼以後就以相同的查詢做相同的處理
4、管理者認為,當他們作租約的或者長期的承諾時,問題會得以解決並且不會演變成其他問題
快速的業務改變
當業務改變速度比IT響應速度快時,發現一個改變,IT部門開始設計、計劃並建立響應。完成之前,另一批業務需求出現,這些新的
業務需求有他們自己的生命週期,不同的另一組人開始處理這個新需求。當兩組人員必須處理和改變相同的資料和過程時,事情就變的比較
麻煩。同樣,如果出現第三批、第四批新的需求,事情會更加複雜化。企業經常發現自己身陷一個惡性迴圈中。業務改變快於IT部門對改變
的響應從而產生了新的改變了的業務需求,而這又產生一個永無止境的迴圈。這種迴圈所帶來的長遠影響是IT部門認為並沒有對公司業務
做出及時響應,業務和IT技術好像在兩個方向上前進。打破這種迴圈有幾種方案:
1、凍結業務需求:不幸的是,凍結業務需求等同於一出現問題就把頭埋入沙灘,不敢面對現實
2、增加IT資源:在混亂中投入更多的IT然預案是昂貴的並且通常是無效的
3、縮短IT響應時間:縮短IT對新改變的業務需求的響應時間通常是唯一的選擇。
語義暫態、語義常態資料
縮短IT對技術基礎設施的響應時間,以便使其適應不斷進行的業務的改變最有效地方法之一是分離語義暫態資料和語義常態資料。
語義暫態資料是指那些可呢要發生語義改變的資料。例如組織結構圖。語義常態資料是語義穩定的資料。例如基本的銷售資訊:銷售
日期、銷售總量、銷售專案和向誰出售等。這些基本資料是必要的,並且在電腦出現前很久人們就對他感興趣。
混合語義穩定和不穩定資料
如果自由混合語義常態資料和語義暫態資料,每次業務需求改變時,技術基礎結構變得很混亂。支援它的技術基礎設施必須隨之改變。
語義常態資料和語義暫態資料是用於支援的技術基礎設施中的常見組成部分,因此也必須適應不斷改變的業務需求。所以把語義常態資料和
語義暫態資料混合在一起是自找麻煩。
分離語義穩定和不穩定的資料
語義常態資料和語義暫態資料的分離,緩解了通常情況下不斷改變的業務需求所帶來的破壞。語義常態資料受到業務需求的改變的影響
不大或者是根本不受影響。語義穩定的資料在任何業務需求下再定義和性質上都是語義穩定的。而當語義暫態資料需要改變時,只是建立了
一個新的語義快照。建立一個新的語義快照比開啟一個資料庫來轉換或者改變他所包含的資料要容易的多。因此當業務改變時,只是產生了
語義暫態資料的一個快照。隨著時間的推移,產生了一系列的快照。每個快照都是按照時間分隔的,每一個快照有起始日期和終止日期。
為了確定哪些是恰當的語義定義,查詢必須有時間限定,這對人一個查詢都是很自然的。
歷史記錄
這種管理語義暫態資料改變的方法有一個附帶的好處,就是建立了語義暫態資料的歷史記錄。這些語義資料歷史存在價值。
當語義常態資料和語義暫態資料分離,並且這些資料形式成為技術基礎設施的基礎時,企業能夠輕鬆地抵擋隨時間而來的資料改變。
這樣就減輕了由業務改變而引起的系統動盪。
資料劃分
下一個合乎邏輯的問題是如何劃分資料。答案是語義常態和語義暫態資料在今後的所有資料庫設計中都應該物理地分離。如果不行,
還有一些技術來管理上述DW2.0基礎設施。如:Kalido。
總結:
DW2.0的技術基礎設施需要能夠改變。當技術基礎設施不可改變時,不久以後企業的業務需求就無法在資料倉儲中反映出來。此外,向
資料倉儲新增的新需求所需的時間越長,資料倉儲適應業務改變的問題就變得越大越困難。
當資料倉儲建立一個可隨時間改變的技術基礎有兩種方法。1、分離語義常態資料和語義暫態資料,可減輕改變產生的影響;2、Kalido等技術。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26613085/viewspace-1318839/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- DW2.0下一代資料倉儲架構_第12章 DW2.0的資料流(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第4章 DW2.0中的後設資料(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第10章 DW2.0與安全(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第2章 DW2.0簡介(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第15章 DW2.0和效能(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第8章 資料模型和DW2.0(讀書筆記)架構模型筆記
- DW2.0下一代資料倉儲架構_第23章 管理DW2.0環境(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第20章 DW2.0與記錄系統(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第13章 ETL處理與DW2.0(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第9章 監視DW2.0環境(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第17章 成本驗證和DW2.0(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第19章 DW2.0和非結構化資料(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構 前言(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第14章 DW2.0與粒度管理器(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第7章 統計處理和DW2.0(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第22章 DW2.0環境中的處理(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第16章 遷移(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第3章 DW2.0組成部分--關於不同區(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第11章 時間相關資料(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第21章 多方面的話題(讀書筆記)架構筆記
- DW2.0下一代資料倉儲架構_第1章 遷資料倉儲簡史及第一代資料倉儲(讀書筆記)架構筆記
- 讀書筆記-大型網站技術架構筆記網站架構
- 《大型網站技術架構》讀書筆記網站架構筆記
- 《大型網站技術架構:核心原理與案例分析》讀書筆記 - 第2篇 架構網站架構筆記
- 維度處理-資料倉儲-讀書筆記(四)筆記
- 讀書筆記 之《軟體架構設計: 大型網站技術架構與業務架構融合之道》筆記架構網站
- DW2.0-下一代資料倉儲架構架構
- 淘寶網以Oracle網格技術布建基礎架構與資料倉儲系統Oracle架構
- 《資料探勘概念與技術》讀書筆記筆記
- 《大型網站技術架構:核心原理與案例分析》讀書筆記 - 第4篇 架構師(附 大型網站架構技術一覽)網站架構筆記
- 《大型網站技術架構:核心原理與案例分析》讀書筆記 - 第3篇 案例網站架構筆記
- 《大型網站技術架構:核心原理與案例分析》讀書筆記 - 第1篇 概述網站架構筆記
- 《軟體架構設計》讀書筆記架構筆記
- 資料倉儲架構分層設計架構
- 《架構基礎 從需求到架構》讀書架構
- 《大型網站技術架構:核心原理與案例分析》讀書筆記網站架構筆記
- 《微服務架構設計模式》讀書筆記 | 第8章 外部API模式微服務架構設計模式筆記API
- 《Practical API Design 軟體架構設計的藝術》讀書筆記API架構筆記