SQL Server平臺上資料倉儲管理員的關鍵任務
目前,我國的一些企業在資料倉儲專案開發完成後並沒有專門培訓特定的資料倉儲管理員,許多企業都是從開發團隊裡挑選一些人留下來執行維護任務,因為即使在通常情況下,經過簡單的指導一般的技術人員也沒有能力維護這個複雜的系統,更不用說出現突發事件應該怎麼處理了。資料倉儲的管理是不少企業資料倉儲應用的軟肋。要保證資料倉儲系統的穩定性、可用性和高效性必須要有具備專業素養的資料倉儲管理員來完成。
資料倉儲管理員(Data Warehouse Administrator),如果取首英文字母簡寫為DWA,很多人會以為講的是資料倉儲架構師(Data Warehouse Architect),不過本文的主角是資料倉儲管理員,而且主要講述的是活躍在SQL Server平臺上的資料倉儲管理員。
資料倉儲管理員主要負責維護企業資料倉儲的完整性和可用性,包括資料的質量問題,確保資料倉儲的正常持續執行。資料倉儲管理員要管理的也許是容量上到5TB級的高可用性SQL Server 2005資料倉儲,而且有遍佈全球的有幾十家分公司好幾百名使用者將其應用於商業智慧和客戶關係管理;也許只是被某公司總部十幾個使用者用作銷售、客戶和產品分析的300GB單伺服器資料倉儲。不管資料倉儲管理員需要管理的是哪一種資料庫,其最重要工作就是維護。
資料倉儲系統每天都要進行大量的ETL操作,按照特定的時間間隔把資料抽取整合到資料倉儲裡。這個時間間隔也許是每隔一天、每隔一個星期或每隔幾個小時。DWA的其中一個主要任務就是監測這些ETL處理程式,確保其正常運作。監測ETL處理程式的任務非常重要,因為這個程式在不斷地為資料倉儲供給資料原料。如果ETL處理程式執行不當,資料倉儲裡的資料就會過時;如果ETL處理程式執行到一半就卡殼了,那麼資料倉儲裡的資料就會不完整;如果ETL處理程式執行出錯,那麼存入的資料也會不正確;而如果資料不正確不完整,那麼根據這些資料而制定的所有決策都會受到影響。這就是為什麼確保ETL程式由始至終正常運作的重要原因。
資料倉儲管理員最好是向資料倉儲主管彙報工作,不過有時候他們會向資料倉儲架構師彙報。資料倉儲管理員的關鍵任務包括以下幾個方面(假設在SQL Server平臺上執行):
· 監測每天(每星期)的ETL程式、資料轉化服務工具包和SQL Server整合服務任務的執行
· 管理資料倉儲的資料庫,維護所有資料庫伺服器
· 管理分析服務立方體和伺服器
· 管理報表服務和伺服器(很可能是一個網路場)
· 管理資料探勘模型和預測分析
· 管理資料倉儲安全
· 製作資料倉儲工作負荷和活動情況報表
· 向資料倉儲批量上載新資料
· 安裝補丁程式並執行更新升級
· 管理資料倉儲埠
· 備份和檢測還原所有資料倉儲物件
· 與開發團隊保持合作以部署程式碼
· 與業務團隊保持聯絡以解決關於資料請求的問題
· 為終端使用者組織培訓班
· 幫助使用者解決查詢問題
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/16436858/viewspace-545142/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫管理員的任務資料庫
- 資料倉儲商業智慧的關鍵--資料質量管理
- 資料倉儲—資料庫—SQL Server 介紹資料庫SQLServer
- 資料倉儲監控平臺
- SQL Server資料倉儲的構建與分析SQLServer
- 資料倉儲中的分析SQL——資料倉儲手冊SQL
- SQL Server資料庫管理員必備的DBCC命令SQLServer資料庫
- ORACLE資料庫管理員定期監控任務Oracle資料庫
- 正確理解SQL Server四類資料倉儲建模方法SQLServer
- Azure Service Fabric Mesh:一個構建任務關鍵型微服務的平臺微服務
- 【資料庫學習】資料庫平臺:mysql,sql server資料庫MySqlServer
- 【轉載】把握資料倉儲中的"鍵"
- SQL Server資料庫備份保護的關鍵UMSQLServer資料庫
- 關於資料湖、資料倉儲的想法
- SQL Server 2008在資料倉儲方面的價值SQLServer
- 資料倉儲—ETL—Microsoft SQL Server 2005 Integration Services 介紹ROSSQLServer
- SQL Server資料庫事務日誌儲存序列SQLServer資料庫
- SQL Server 2005——新一代企業資料管理分析平臺SQLServer
- 關於資料倉儲的書籍
- 關於資料倉儲的設計!
- 資料中臺以及資料倉儲的介紹
- 【原】影響資料倉儲成功的十個關鍵因素(翻譯)
- 如何用資料倉儲管理海量資料?直接訪問資料倉儲資料時的4個限制
- 資料倉儲—OLAP—SAS OLAP Server 介紹Server
- 學習SQL Server 的任務排程SQLServer
- 關於資料倉儲 — ODS概念
- 設計資料倉儲和資料倉儲的粒度
- [平臺建設] 大資料平臺如何實現任務日誌採集大資料
- HarmonyOS 後臺任務管理開發指南上線!
- 資料倉儲資料中臺區別在哪?
- 資料倉儲上雲那些事兒
- ETL學習心得:探求資料倉儲關鍵環節ETL的本質
- 基於雲原生架構的新一代資料倉儲平臺架構
- 管理SQL Server資料庫安全SQLServer資料庫
- 快速掌握SQL Server任務排程SQLServer
- 資料倉儲—OLAP—Hyperion Essbase OLAP server 介紹Server
- 無責任資料倉儲圖書簡評 (轉)
- SQL Server資料庫超級管理員賬號防護知識SQLServer資料庫