一個資料倉儲資料重新整理的實現機制(一)
基本介紹 [@more@]
一個資料倉儲,需要重新整理的資料庫物件有表(Table)和物化檢視(Materialized View)。其中一部分表透過執行位於/erdb/sql/的*.sql指令碼檔案重新整理資料,一部分表透過儲存過程重新整理資料。物化檢視(MV)沒有在主表上建物化檢視日誌(Materiralized View Log),只能執行完全重新整理,但是在重新整理失敗時要求能自動回滾到重新整理前的狀態。
需要重新整理的資料庫物件分別屬於12個schema,分別對應於6個國家。比如EDENFR和EWRFRMASTER對應法國,EDENUK和EWRUKMASTER對應英國等。
需要紀錄各表和MV重新整理前後的資料量,重新整理前後的時間點,重新整理所用時間,重新整理成功與否,如果失敗紀錄失敗資訊。重新整理紀錄同時儲存在資料庫表中和作業系統的文字檔案中。
各schema下需要重新整理的物件有可能今後會有改變,要使客戶今後能方便地增刪改重新整理物件和方式(用MV重新整理,用procedure重新整理表,用.sql檔案重新整理表)。
各資料庫物件的重新整理頻率有可能是每天一次,每週一次(週六),或者從不重新整理。
重新整理任務要在每天當地時間早上4點整自動啟動。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/207/viewspace-795289/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫倉庫系列:(一)什麼是資料倉儲,為什麼要資料倉儲資料庫
- 一個簡化、落地的實時資料倉儲解決方案
- 資料湖是下一代資料倉儲?
- 資料倉儲、資料湖與湖倉一體的區別與聯絡
- 萬字詳解資料倉儲、資料湖、資料中臺和湖倉一體
- Oracle資料倉儲的實時資料採集XSOracle
- 如何規劃一個高效的BI資料倉儲專案JI
- 資料倉儲應該用什麼方案——資料倉儲實施方案概述
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- 用Rust 實現的現代化實時開源資料倉儲Rust
- 一文讀懂選擇資料湖還是資料倉儲
- 資料倉儲與大資料的區別大資料
- 關於資料湖、資料倉儲的想法
- 資料倉儲 vs 資料湖 vs 湖倉一體:如何基於自身資料策略,選擇最合適的資料管理方案?
- 資料湖 vs 資料倉儲 vs 資料庫資料庫
- Redis資料結構(一)-Redis的資料儲存及String型別的實現Redis資料結構型別
- 一招教你資料倉儲如何高效批次匯入與更新資料
- 構建實時資料倉儲首選,雲原生資料倉儲AnalyticDB for MySQL技術解密MySql解密
- 淺談資料倉儲和大資料大資料
- 資料湖會取代資料倉儲嗎?
- 談談資料湖和資料倉儲
- SaaS 模式雲資料倉儲 MaxCompute 資料安全最佳實踐模式
- 資料倉儲 - ER模型模型
- 一文讀懂:本地資料湖丨資料倉儲丨雲資料湖的利與弊
- 資料湖和中央資料倉儲的設計
- 資料湖+資料倉儲 = 資料湖庫架構架構
- Android 返回上一個介面重新整理資料Android
- ETL資料倉儲的使用方式
- 到底什麼是實時資料倉儲?
- 雲資料建模:為資料倉儲設計資料庫資料庫
- [數倉]資料倉儲設計方案
- 大資料和資料倉儲解決方案大資料
- 資料倉儲被淘汰了?都怪資料湖
- Redis快取何以一枝獨秀?(2) —— 聊聊Redis的資料過期、資料淘汰以及資料持久化的實現機制Redis快取持久化
- 美團DB資料同步到資料倉儲的架構與實踐架構
- 基於Greenplum,postgreSQL的大型資料倉儲實踐SQL
- 什麼是資料倉儲
- 什麼是資料倉儲?
- 資料倉儲經驗概念