一個資料倉儲資料重新整理的實現機制(一)
基本介紹 [@more@]
一個資料倉儲,需要重新整理的資料庫物件有表(Table)和物化檢視(Materialized View)。其中一部分表透過執行位於/erdb/sql/的*.sql指令碼檔案重新整理資料,一部分表透過儲存過程重新整理資料。物化檢視(MV)沒有在主表上建物化檢視日誌(Materiralized View Log),只能執行完全重新整理,但是在重新整理失敗時要求能自動回滾到重新整理前的狀態。
需要重新整理的資料庫物件分別屬於12個schema,分別對應於6個國家。比如EDENFR和EWRFRMASTER對應法國,EDENUK和EWRUKMASTER對應英國等。
需要紀錄各表和MV重新整理前後的資料量,重新整理前後的時間點,重新整理所用時間,重新整理成功與否,如果失敗紀錄失敗資訊。重新整理紀錄同時儲存在資料庫表中和作業系統的文字檔案中。
各schema下需要重新整理的物件有可能今後會有改變,要使客戶今後能方便地增刪改重新整理物件和方式(用MV重新整理,用procedure重新整理表,用.sql檔案重新整理表)。
各資料庫物件的重新整理頻率有可能是每天一次,每週一次(週六),或者從不重新整理。
重新整理任務要在每天當地時間早上4點整自動啟動。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/207/viewspace-795289/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 一個資料倉儲資料重新整理的實現機制(八)
- 一個資料倉儲資料重新整理的實現機制(七)
- 一個資料倉儲資料重新整理的實現機制(六)
- 一個資料倉儲資料重新整理的實現機制(五)
- 一個資料倉儲資料重新整理的實現機制(四)
- 一個資料倉儲資料重新整理的實現機制(三)
- 一個資料倉儲資料重新整理的實現機制(二)
- 資料庫倉庫系列:(一)什麼是資料倉儲,為什麼要資料倉儲資料庫
- 一個簡化、落地的實時資料倉儲解決方案
- 如何用資料倉儲管理海量資料?直接訪問資料倉儲資料時的4個限制
- DW資料倉儲的一些概念
- 設計資料倉儲和資料倉儲的粒度
- 資料湖是下一代資料倉儲?
- 資料倉儲一般模式分析模式
- 資料倉儲、資料湖與湖倉一體的區別與聯絡
- 資料倉儲—資料倉儲—Sybase IQ 介紹
- 一個不錯的資料倉儲名字查詢網站網站
- 資料倉儲中的分析SQL——資料倉儲手冊SQL
- 資料倉儲
- 萬字詳解資料倉儲、資料湖、資料中臺和湖倉一體
- Oracle資料倉儲的實時資料採集XSOracle
- 一、HIVE基本語法:建立資料倉儲Hive
- 第一篇:資料倉儲概述
- 如何規劃一個高效的BI資料倉儲專案JI
- 資料庫和資料倉儲資料庫
- 資料倉儲應該用什麼方案——資料倉儲實施方案概述
- 資料倉儲—資料倉儲—NCR Teradata Warehouse 介紹
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- 資料倉儲之路
- 用Rust 實現的現代化實時開源資料倉儲Rust
- 資料倉儲和後設資料
- 一文讀懂選擇資料湖還是資料倉儲
- DW2.0下一代資料倉儲架構_第1章 遷資料倉儲簡史及第一代資料倉儲(讀書筆記)架構筆記
- hive資料倉儲匯入資料的方法Hive
- 關於資料湖、資料倉儲的想法
- 資料倉儲與大資料的區別大資料
- 資料湖 vs 資料倉儲 vs 資料庫資料庫
- 資料倉儲 vs 資料湖 vs 湖倉一體:如何基於自身資料策略,選擇最合適的資料管理方案?