SQL Server平臺上資料倉儲管理員的關鍵任務
目前,我國的一些企業在資料倉儲專案開發完成後並沒有專門培訓特定的資料倉儲管理員,許多企業都是從開發團隊裡挑選一些人留下來執行維護任務,因為即使在通常情況下,經過簡單的指導一般的技術人員也沒有能力維護這個複雜的系統,更不用說出現突發事件應該怎麼處理了。資料倉儲的管理是不少企業資料倉儲應用的軟肋。要保證資料倉儲系統的穩定性、可用性和高效性必須要有具備專業素養的資料倉儲管理員來完成。
資料倉儲管理員(Data Warehouse Administrator),如果取首英文字母簡寫為DWA,很多人會以為講的是資料倉儲架構師(Data Warehouse Architect),不過本文的主角是資料倉儲管理員,而且主要講述的是活躍在SQL Server平臺上的資料倉儲管理員。
資料倉儲管理員主要負責維護企業資料倉儲的完整性和可用性,包括資料的質量問題,確保資料倉儲的正常持續執行。資料倉儲管理員要管理的也許是容量上到5TB級的高可用性SQL Server 2005資料倉儲,而且有遍佈全球的有幾十家分公司好幾百名使用者將其應用於商業智慧和客戶關係管理;也許只是被某公司總部十幾個使用者用作銷售、客戶和產品分析的300GB單伺服器資料倉儲。不管資料倉儲管理員需要管理的是哪一種資料庫,其最重要工作就是維護。
資料倉儲系統每天都要進行大量的ETL操作,按照特定的時間間隔把資料抽取整合到資料倉儲裡。這個時間間隔也許是每隔一天、每隔一個星期或每隔幾個小時。DWA的其中一個主要任務就是監測這些ETL處理程式,確保其正常運作。監測ETL處理程式的任務非常重要,因為這個程式在不斷地為資料倉儲供給資料原料。如果ETL處理程式執行不當,資料倉儲裡的資料就會過時;如果ETL處理程式執行到一半就卡殼了,那麼資料倉儲裡的資料就會不完整;如果ETL處理程式執行出錯,那麼存入的資料也會不正確;而如果資料不正確不完整,那麼根據這些資料而制定的所有決策都會受到影響。這就是為什麼確保ETL程式由始至終正常運作的重要原因。
資料倉儲管理員最好是向資料倉儲主管彙報工作,不過有時候他們會向資料倉儲架構師彙報。資料倉儲管理員的關鍵任務包括以下幾個方面(假設在SQL Server平臺上執行):
· 監測每天(每星期)的ETL程式、資料轉化服務工具包和SQL Server整合服務任務的執行
· 管理資料倉儲的資料庫,維護所有資料庫伺服器
· 管理分析服務立方體和伺服器
· 管理報表服務和伺服器(很可能是一個網路場)
· 管理資料探勘模型和預測分析
· 管理資料倉儲安全
· 製作資料倉儲工作負荷和活動情況報表
· 向資料倉儲批量上載新資料
· 安裝補丁程式並執行更新升級
· 管理資料倉儲埠
· 備份和檢測還原所有資料倉儲物件
· 與開發團隊保持合作以部署程式碼
· 與業務團隊保持聯絡以解決關於資料請求的問題
· 為終端使用者組織培訓班
· 幫助使用者解決查詢問題
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/16436858/viewspace-545142/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【資料庫學習】資料庫平臺:mysql,sql server資料庫MySqlServer
- SQL Server資料庫備份保護的關鍵UMSQLServer資料庫
- SQL Server 2008 R2並行資料倉儲簡介SZSQLServer並行
- 倉儲管理平臺網站需要哪些資質證書網站
- Azure Service Fabric Mesh:一個構建任務關鍵型微服務的平臺微服務
- 管理SQL Server資料庫安全SQLServer資料庫
- 關於資料湖、資料倉儲的想法
- 倉儲管理平臺網站的商業模式是什麼網站模式
- 資料中臺以及資料倉儲的介紹
- 區分SQL Server 2008 R2資料中心和並行資料倉儲版本WBSQLServer並行
- SQL Server資料儲存與NTFS簇的大小PXSQLServer
- 資料倉儲資料中臺區別在哪?
- 最新!SQL Server 2019將結合Spark建立統一資料平臺!SQLServerSpark
- 基於雲原生架構的新一代資料倉儲平臺架構
- 數字孿生倉庫:智慧物流倉儲Web3D管理平臺Web3D
- 配置SQL Server Service Broker來傳送儲存過程資料(上)CYSQLServer儲存過程
- 資料倉儲上雲那些事兒
- [平臺建設] 大資料平臺如何實現任務日誌採集大資料
- 全平臺資料(資料庫)管理工具 DataCap 管理 Rainbond 上的所有資料庫資料庫AI
- HarmonyOS 後臺任務管理開發指南上線!
- 淺談資料倉儲質量管理流程
- 跑在檔案系統上的資料倉儲
- SQL Server中的SELECT會阻塞SELECT相關資料SQLServer
- 銀行容器雲平臺建設的關鍵設計 | 資料
- 一個基於.NET Core開源、跨平臺的倉儲管理系統
- Linux任務的前後臺管理Linux
- 關於SQL Server資料庫中的使用者許可權和角色管理SQLServer資料庫
- SQL Server 資料訪問策略:儲存過程QCSQLServer儲存過程
- 線上教育平臺開發的幾個關鍵點
- 萬字詳解資料倉儲、資料湖、資料中臺和湖倉一體
- SQL Server 表的管理_關於事務操作的詳解(案例程式碼)SQLServer
- SQL Server資料庫恢復,SQL Server資料恢復,SQL Server資料誤刪除恢復工具SQLRescueSQLServer資料庫資料恢復
- SQL Server資料庫遠端更新目標表資料的儲存過程SQLServer資料庫儲存過程
- 通俗語言解釋資料倉儲、資料湖、資料中臺
- 跑在檔案系統上的資料倉儲,強!
- SQL Server 資料庫基礎筆記分享(上)SQLServer資料庫筆記
- 關於SQL Server配置管理器SQLServer
- 關於SQL Server 映象資料庫快照的建立及使用SQLServer資料庫
- CDS — 資料管理分析平臺