資料倉儲的構建(ZT)
資料倉儲的構建
隨著全球性競爭的加劇,越來越多的企業認識到正確及時的決策是企業生存和發展的關鍵所在。因此,充分利用現代資訊科技技術,自動快速獲取有用的決策資訊,為企業提供快速、準確的決策支援,已成為大多數成功企業的共識。
資料倉儲的出現,給企業帶來更好的發展動力。“資料倉儲”一詞最早出現於20世紀90年代初,目前已趨於成熟。據IDC調查,資料倉儲的平均投資回報率在401%。另據調查,幸福500中已經有85%的企業建成或正在建立資料倉儲。資料倉儲與Internet一樣,正在成為最快的IT增長點。
一、構建資料倉儲的目的
1、市場的激烈競爭和管理過程的複雜性,決定了一個企業為了生存與發展,就需要對客戶關係、市場營銷、產品工程、投資分析等方面的歷史資料進行提取與分析,從中找到對企業進一步發展有價值的潛在資訊。
2、資料倉儲能夠把企業的內部資料和外部資料進行有效的整合,為企業的各層決策提供資料依據。
3、企業現有的系統不能提供更多的決策資訊(儘管企業已經有了大量的資料積累)。
4、透過構造一種體系化的資料存貯環境,將分析決策所需的大量資料從傳統的操作環境中分離出來,使分散的、不一致的運算元據轉換成整合的、統一的資訊。
5、可以為市場營銷和客戶分析提供基本的資訊源和輔助工具。
6、可以實現對產品、部門、機構的利潤與成本分析。
7、可以規範管理流程、最佳化業務處理、提高資本利用率。
二、資料倉儲構建的步驟
資料倉儲的構架由三部分組成:資料來源、資料來源轉換/裝載形成新資料庫、OLAP(聯機分析處理 On-line Analytical Processing)。
資料倉儲的實施過程大體可分為三個階段:資料倉儲的專案規劃、設計和實施、維護調整。
從資料倉儲的構架和實施過程出發,資料倉儲的構建可以分為以下幾個步驟:
1、目標明確,統籌安排
根據企業的發展目標和市場變化規律,用戰略發展的眼光,創立一個資訊架構方案,使公司的商業目標與所需要的資料保持一致。
2、統一規劃,分步實施
建設和維護一個企業資料倉儲,是一項費時費力、投資大的工程。所以應該先設計好一個整體資訊架構,制定出分期實施計劃,然後再逐步實施,重點放在高度重要的商業事件所需要的資料中心或資料傳遞機制上。
3、構造技術環境、建立支撐平臺
建立技術環境,,選擇實現資料倉儲的軟硬體資源,包括開發平臺、DBMS、網路通訊、開發工具、終端訪問工具及建立服務水平目標(可用性、裝載、維護及查詢效能)的選擇等。
4、建好模型,選好工具
透過資料模型的構建,企業可以從中得到完整而又清晰的描述資訊,資料模型為企業多應用的資料來源提供統一的標準。
模型的設計需要企業的資訊工作人員與業務工作人員緊密配合,規劃出對企業有實際價值的應用模型,這個模型要具有一定的智慧性,能夠根據實際業務的發展不斷調整自身的引數,最終找到企業運作過程中的規律,從而為企業帶來效益。
構建資料倉儲的工具有很多,如建模工具、資料淨化工具、資料抽取工具、資料倉儲管理工具、聯機分析處理和資料探勘工具等。世界上較著名的大公司,如IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等都竟相推出了構建、維護和應用資料倉儲的產品工具和應用解決方案。企業可以從自身的實際情況和使用者的需求角度進行考慮,加以選擇。
5、加強管理,搞好維護
資料倉儲的安全問題不容忽視,透過作業系統和資料庫的安全機制,加強資料倉儲操作許可權的管理。對資料倉儲中的相關資料要及時備份,並利用RAID配置備份資料倉儲,以提高資料倉儲的安全性和可用性。
三、我國資料倉儲系統建設存在的問題
資料倉儲技術之所以沒有在中國很好的發展起來,主要原因如下:
1、中國的資訊化基礎裝置相對不太完善。
2、企業的競爭意識和服務意識還不夠強。
3、資料倉儲的價格居高不下。
4、管理機制的缺乏。
資料倉儲是一個資料共享的系統,不同層面的人從中得到的資訊會是不一樣的。但目前中國企業沒有建立起一個管理機制來推動資料的共享,不論是對人的能力、企業的組織制度還是資料質量都沒有一個連續的管理機制,要在這樣的基礎之上建立好用的資料分析是非常困難的。
5、技術人才缺乏。
資料倉儲的應用是一個建立的過程。在建立的過程當中,需要大量的技術支援人員。從國內情況來看,真正能夠完整實施資料倉儲方案的人才還很缺乏,因而制約了國內資料倉儲市場的發展。
6、資料探勘工具本身不成熟。
除了OLAP以外,更高層次的資料倉儲是資料探勘。然而,目前這一領域的技術還沒有大的突破,市場上的資料探勘技術還難以令人滿意。
7、資料積累不充分。
實現線上分析處理的前提是要有大量的歷史資料。但除了電信、證券、銀行等少數行業以外,資料積累都不夠充分。
資料倉儲是一項基於資料管理和運用的綜合性技術和解決方案。資料倉儲的成功實施對培育一種知識共享文化產生重大影響。目前,基於資料倉儲的決策支援系統還主要應用於銀行業和證券業。隨著各種技術的成熟,資料倉儲將會在金融、保險、鐵路、航空、零售、食品、電信、郵政、醫療等行業中得到更加廣泛的應用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/7196059/viewspace-992891/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 如何構建資料倉儲模型?模型
- Hive:資料倉儲構建步驟Hive
- 構建實時資料倉儲首選,雲原生資料倉儲AnalyticDB for MySQL技術解密MySql解密
- 使用Power BI構建資料倉儲與BI方案
- 《Greenplum構建實時資料倉儲實踐》簡介
- 基於OneData的資料倉儲建設
- HashData完成1500萬美元融資 加速構建雲原生資料倉儲
- 資料湖+資料倉儲 = 資料湖庫架構架構
- 資料倉儲(5)數倉Kimball與Inmon架構的對比架構
- 企業為什麼要建資料倉儲?
- 雲端資料倉儲的模式選型與建設模式
- 資料倉儲架構分層設計架構
- 分層架構在資料倉儲的應用架構
- 最最最全資料倉儲建設指南,速速收藏!!
- 中小銀行資料倉儲建設 | 最佳實踐
- 資料庫倉庫系列:(一)什麼是資料倉儲,為什麼要資料倉儲資料庫
- 美團DB資料同步到資料倉儲的架構與實踐架構
- 滴滴資料倉儲指標體系建設實踐指標
- ETL資料倉儲的使用方式
- 加快構建資料倉儲 甘肅銀行數字化轉型提速推進
- 資料倉儲 - ER模型模型
- [數倉]資料倉儲設計方案
- 阿里雲“萬倉計劃”重磅釋出,助力每個企業構建屬於自己的雲原生資料倉儲阿里
- TDS 四大能力域各顯神通,構建資料湖、資料倉儲一步到位
- 資料倉儲與大資料的區別大資料
- 關於資料湖、資料倉儲的想法
- 資料湖 VS 資料倉儲之爭?阿里提出大資料架構新概念:湖倉一體阿里大資料架構
- 為什麼要建資料倉儲,而不是直連資料來源?
- 資料倉儲應該用什麼方案——資料倉儲實施方案概述
- 資料湖和中央資料倉儲的設計
- 什麼是資料倉儲
- 什麼是資料倉儲?
- 資料倉儲經驗概念
- 資料倉儲建模方法論
- 淺談資料倉儲和大資料大資料
- 資料湖會取代資料倉儲嗎?
- 談談資料湖和資料倉儲
- 資料倉儲、資料集市、資料湖,你的企業更適合哪種資料管理架構?架構
- 資料倉儲Build The Data Warehouse(William H.Inmon)學習筆記 --- 第八章、外部資料/非結構化資料與資料倉儲UI筆記