大資料基礎（一）——關係+文章

愛吃串串的瘦子發表於2018-07-20

一、DB、ETL、DW、OLAP、DM、BI關係結構圖

轉載自：http://www.cnblogs.com/ycdx2001/p/4538750.html

（1）DB/Database/資料庫——這裡一般指的就是OLTP資料庫，線上事物資料庫，用來支援生產的，比如超市的買賣系統。DB保留的是資料資訊的最新狀態，只有一個狀態！比如，每天早上起床洗臉照鏡子，看到的就是當時的狀態，至於之前的每天的狀態，不會出現的你的眼前，這個眼前就是db。

（2）DW/Data Warehouse/資料倉儲——這裡儲存的是DB中的不同時間點的狀態，比如，每天早上洗完照鏡子時，都拍一張照片，天天這樣，這些照片放入到一個相簿中，之後就可以檢視每一天的狀態了，這個相簿就是資料倉儲，他儲存的是資料在不同時間點的狀態，對同一個資料資訊，保留不同時間點的狀態，就便於我們做統計分析了。

（3）ETL/Extraction-Transformation-Loading——用於完成DB到DW的資料轉存，它將DB中的某一個時間點的狀態，“抽取”出來，根據DW的儲存模型要求，“轉換”一下資料格式，然後再“載入”到DW的一個過程，這裡需要強調的是，DB的模型是ER模型，遵從正規化化設計原則，而DW的資料模型是雪花型結構或者星型結構，用的是面向主題，面向問題的設計思路，所以DB和DW的模型結構不同，需要進行轉換。

（4）OLAP——線上分析系統，簡單說就是報表系統，銷售報表，統計報表，等等，這個大家都熟悉，當然，OLAP的統計要更復雜更豐富一些，比如切面，鑽取等等。

（5）DM/Data Mining/資料探勘——這個挖掘，不是簡單的統計了，他是根據概率論的或者其他的統計學原理，將DW中的大資料量進行分析，找出我們不能直觀發現的規律，比如，如果我們每天早上照相，量身材的時候，還記錄下頭一天吃的東西，黃瓜，豬腿，烤鴨，以及心情，如果記錄上10年，形成了3650天的相貌和飲食心情的資料，我們每個人都記錄，有20萬人記錄了，那麼，我們也許通過這些記錄，可以分析出，身材相貌和飲食的客觀規律；再說一個典型的例項，就是英國的超市，在積累了大量資料之後，對資料分析挖掘之後，得到了一個規律：將小孩的尿布和啤酒放在一起，銷量會更好——業務專家在得到該結論之後，仔細分析，知道了原因，因為英國男人喜歡看足球的多，老婆把小孩介紹男人看管，小孩尿尿需要尿布，而男人看足球喜歡喝酒，所以兩樣商品有密切的關係，放在一起銷售會更好！

（6）BI/Business Intelligence/商業智慧——領導，決策者，在獲取了OLAP的統計資訊，和DM得到的科學規律之後，對生產進行適當的調整，比如，命令超市人員將啤酒喝尿布放在一起銷售，這就反作用於DB修改存貨資料了——這就是整個BI的作用！

資訊科技經過近20年的大力發展，很多行業積累了很多珍貴的資料，真正的大資料時代到來了，也逐漸體現出 DB-ETL-DW-OLAP-DM-BI這條線路的重要性，希望大家能懂得這個大資料時代的價值，把握住機遇，有更加美好的未來！