說說資料分析中的資料建模
計算機系統出現以後,人類面臨的一個問題,就是將現實世界當中的實體物件或者無形的事件記錄到計算機系統當中。隨著資料量的不斷增加,人們必然面對注入資料定義、資料處理、資料儲存、資料安全等各種複雜問題,那麼自然而然地資料庫這個概念就應運而生了。大資料時代環境下,大資料分析中越來越用到資料建模的應用操作,那資料建模的步驟又是怎麼樣的呢?首先我們先講一下什麼叫資料庫。
當我們在講大資料庫的時候,涉及了大資料庫的三個基本的概念:
資料(Date):現實世界物件或事物的數字化抽象
資料庫(Database):資料的有組織的集合
資料庫管理系統(DBMS):是定義、處理、儲存資料庫的軟體,它還有保證資料安全和資料一致性的功能,並且它為使用者使用資料庫提供了一系列簡單的藉口,降低了使用者使用資料庫的難度。
實際上,人們平常講到資料庫的時候,指的是上面三者構成的整體。
資料庫建設可分為7個階段
1、規劃階段
2、需求分析階段
3、概念設計階段
4、邏輯設計階段
5、屋裡設計階段
6、資料庫實施階段
7、資料庫執行維護階段
規劃階段的主要任務是分析建立資料庫的必要性和可行性。
需求分析階段過程主要包含:收集與大資料庫相關的資訊需求和操作需求,做需求分析、寫出規格說明書。其中的資訊需求 指的是定義未來系統所用到的所有資訊,操作需求指的是定義未來系統所用到的資料處理操作,包括操作執行的頻率、時間、操作與大資料的聯絡(與功能分析不同)。
那分析完需求之後,就到了概念設計的階段,概念設計的任務是通過使用者的需求(資訊需求)進行綜合、歸納與抽象,形成一個獨立於具體大資料庫管理系統的概念模型,而概念模型要求開發人員和使用者都能夠理解。概念設計也是整個大資料庫設計的關鍵。
那邏輯設計的任務是將概念模型轉換為某個資料團裡系統所支援的大資料模型,並對其進行優化,邏輯設計還要考慮到大資料的各種完整性約束、業務規則和安全性要求等。
物理設計是根據具體大資料庫管理系統的特點,設計出資料庫的儲存結構、索引、存取路徑,設定各種引數。
設計出來後就是大資料庫實施階段,根據邏輯設計和無力設計的結果建立資料庫模型,並組織資料入庫。
日常的資料庫執行維護階段也是需要有專業的運維人員去負責的,在大資料庫系統的執行過程中必須不斷的對其進行評價、調整與修改。
把以上的步驟整理成圖就是下面這樣: 資料庫概念設計和概念模型,大資料庫設計的第一個步驟就是概念設計,即用概念資料模型對應用體現現實世界進行建模。而概念模型是對現實世界基本資料概念的抽象,能充分體現現實世界,易於理解,易於修改,易於向各種資料模型轉換,以便於生成相應的邏輯模型是其特點並且概念模型還是一種獨立於具體的資料模型。在大資料分析的領域中資料建模應用的越來越廣泛,對於大資料建模的方法和具體步驟大家一定要掌握,如果有什麼不清楚的可以去九道門瞭解更多資訊。
相關文章
- 說說在 Python 中,如何讀取檔案中的資料Python
- 說說資料庫事務資料庫
- 傳說中的資料結構_JAVA資料結構Java
- 【Longhash資料分析】來說一說幣圈的風險有多大
- 說說資料庫排行榜的事情資料庫
- 資料分析過程六步曲—誰說菜鳥不會資料分析
- 資料分析與挖掘-挖掘建模
- 用資料說話,億級海量資料分析效能瓶頸如何破?
- 資料分頁說明
- 深夜,學妹說她想做Python資料分析師Python
- 說說 Python 的變數以及簡單資料型別Python變數資料型別
- 你能說說你理解的資料庫規範嗎?資料庫
- 大資料建模、分析、挖掘技術大資料
- 面試官:說說資料庫事務吧面試資料庫
- 資料建模
- 說說在 Python 中如何遞迴建立不存在的資料夾路徑Python遞迴
- 大資料之路 ——(一)演算法建模中的資料清洗大資料演算法
- 一文說清資料管理、資料治理和資料資產管理
- 說說你對IE特有的資料儲存userData的理解
- 說說你對資料結構的理解?有哪些?區別?資料結構
- 你還敢說不會做資料分析?做程式設計師必須掌握的資料分析思維!程式設計師
- 週末深夜,學妹說她想做Python資料分析師。。。。。。Python
- 【PG結構】Postgresql資料庫資料目錄說明SQL資料庫
- InfluxDB vs TDengine,用資料“說”效能UX
- 說說如何在 Spring Boot 中使用 JdbcTemplate 讀寫資料Spring BootJDBC
- 資料治理之資料梳理與建模
- 從一條資料說起——InnoDB儲存資料結構資料結構
- 大資料建模、分析、挖掘技術應用大資料
- QuickBI助你成為分析師-資料建模(一)UI
- 四說大資料時代“神話”:從大資料到深資料大資料
- Python爬蟲之小說資訊爬取與資料視覺化分析Python爬蟲視覺化
- 細說資料庫協作運維資料庫運維
- 如何做到用資料說話(一)
- Battle Point | 海哥說資料大屏BAT
- Activiti(一) activiti資料庫表說明資料庫
- 為什麼說資料治理是資料管理的關鍵?_光點科技
- 資料泵的TRANSFORM引數說明及使用ORM
- 大資料小白系列 —— MapReduce流程的深入說明大資料