讀資料工程之道：設計和構建健壯的資料系統34讀後總結與感想兼導讀

1. 基本資訊

資料工程之道：設計和構建健壯的資料系統

• [美]喬·里斯(Joe Reis),[美]馬特·豪斯利(Matt Housley)著

• 機械工業出版社,2024年2月出版

1.1. 讀薄率

書籍總字數473千字，筆記總字數109584字。

讀薄率109584÷473000≈23.17%

1.2. 讀厚方向

1. Data Mesh權威指南

2. 資料的邊界：隱私與個人資料保護

3. 資料保護：工作負載的可恢復性

4. 資料質量管理：資料可靠性與資料質量問題解決之道

5. Julia資料科學應用

6. MLOps權威指南

7. 資料自助服務實踐指南：資料開放與洞察提效

8. 商戰資料探勘：你需要了解的資料科學與分析思維

9. Spark快速大資料分析（第2版）

1.3. 筆記--章節對應關係

筆記	章節	字數	釋出日期 2024年
讀資料工程之道：設計和構建健壯的資料系統01資料工程概述	第1章　資料工程概述	4170	10月7日
讀資料工程之道：設計和構建健壯的資料系統02資料工程師	第1章　資料工程概述	5096	10月8日
讀資料工程之道：設計和構建健壯的資料系統03資料工程生命週期（上）	第2章　資料工程生命週期	2423	10月9日
讀資料工程之道：設計和構建健壯的資料系統04資料工程生命週期（下）	第2章　資料工程生命週期	3962	10月10日
讀資料工程之道：設計和構建健壯的資料系統05底層設計（上）	第2章　資料工程生命週期	3867	10月11日
讀資料工程之道：設計和構建健壯的資料系統06底層設計（下）	第2章　資料工程生命週期	2921	10月12日
讀資料工程之道：設計和構建健壯的資料系統07資料架構的原則	第3章　設計好的資料架構	4915	10月13日
讀資料工程之道：設計和構建健壯的資料系統08主要架構概念	第3章　設計好的資料架構	2410	10月14日
讀資料工程之道：設計和構建健壯的資料系統09示例和型別	第3章　設計好的資料架構	2597	10月15日
讀資料工程之道：設計和構建健壯的資料系統10技術選擇	第4章　根據資料生命週期選擇技術	3041	10月16日
讀資料工程之道：設計和構建健壯的資料系統11雲經濟學	第4章　根據資料生命週期選擇技術	3470	10月17日
讀資料工程之道：設計和構建健壯的資料系統12開源軟體	第4章　根據資料生命週期選擇技術	3056	10月18日
讀資料工程之道：設計和構建健壯的資料系統13無伺服器	第4章　根據資料生命週期選擇技術	2518	10月19日
讀資料工程之道：設計和構建健壯的資料系統14源系統	第5章　源系統中的資料生成	3031	10月20日
讀資料工程之道：設計和構建健壯的資料系統15源系統實際細節（上）	第5章　源系統中的資料生成	2697	10月21日
讀資料工程之道：設計和構建健壯的資料系統16源系統實際細節（下）	第5章　源系統中的資料生成	3109	10月22日
讀資料工程之道：設計和構建健壯的資料系統17儲存的原材料	第6章　儲存	3762	10月23日
讀資料工程之道：設計和構建健壯的資料系統18資料儲存系統(上）	第6章　儲存	2806	10月24日
讀資料工程之道：設計和構建健壯的資料系統19資料儲存系統 (下）	第6章　儲存	2674	10月25日
讀資料工程之道：設計和構建健壯的資料系統20資料工程儲存抽象	第6章　儲存	3988	10月26日
讀資料工程之道：設計和構建健壯的資料系統21資料獲取	第7章　獲取	2665	10月27日
讀資料工程之道：設計和構建健壯的資料系統22獲取階段考慮因素	第7章　獲取	2777	10月28日
讀資料工程之道：設計和構建健壯的資料系統23批次獲取的考慮因素	第7章　獲取	2268	10月29日
讀資料工程之道：設計和構建健壯的資料系統24獲取資料的方式	第7章　獲取	3446	10月30日
讀資料工程之道：設計和構建健壯的資料系統25查詢	第8章　查詢、建模和轉換	3767	11月2日
讀資料工程之道：設計和構建健壯的資料系統26資料建模	第8章　查詢、建模和轉換	3448	11月3日
讀資料工程之道：設計和構建健壯的資料系統27轉換	第8章　查詢、建模和轉換	4842	11月4日
讀資料工程之道：設計和構建健壯的資料系統28資料服務常見關注點	第9章　為分析、機器學習和反向ETL提供資料服務	2712	11月5日
讀資料工程之道：設計和構建健壯的資料系統29分析	第9章　為分析、機器學習和反向ETL提供資料服務	4110	11月6日
讀資料工程之道：設計和構建健壯的資料系統30機器學習	第9章　為分析、機器學習和反向ETL提供資料服務	3848	11月7日
讀資料工程之道：設計和構建健壯的資料系統31安全和隱私	第10章　安全和隱私	3900	11月8日
讀資料工程之道：設計和構建健壯的資料系統32序列化和雲網路	附錄A 序列化和壓縮技術的細節 附錄B 雲網路	2344	11月9日
讀資料工程之道：設計和構建健壯的資料系統33未來	第11章　資料工程的未來	2944	11月10日
$	總計	109584	$

---

2. 亮點

2.1 詳述什麼叫資料工程

• 資料工程不同於軟體工程

• 有自己的特色、特點

2.2 流和批處理的比較

• 批處理源遠流長
• 但是流技術的發展，漸漸有取代之勢
• 還有微批處理

2.3 資料分層和冷熱

• 根據資料冷熱不同進行資料分層
• 不同溫度的資料處於不同的層次
• 說到底，就是具體資料具體分析

2.4 資料工程師和其他角色的關係和區別

• 描述了資料工程師的主要工程

• 同時也指出了不同角色和資料工程師之間的關係和區別

  • 尤其是資料科學家和軟體工程師

---

3. 感想

3.1 這個筆記好長啊

• 如果沒有記錯的話，這個更新時長和字數，應該是除了學中項、高項之外的最多的筆記了

3.2 隨著資料的不斷增長，資料工程出現了

• 事物的發展都是有一個過程的

• 資料不到一定的級別，一定的量級，資料工程不會出現

• 資料工程有自己的規律和規則，需要根據自身的情況實施

3.3 既要適應現實需求，又要有一定的前瞻性

• 在進行資料工程時，既要根據該工程的實際情況選擇合適的工具和架構以及系統構建

• 同時，也要有一定的前瞻性，用於適應未來的變化

• 但是，也不同太超前了，太超前了也往往意味著失敗，過猶不及

3.4 好書，推薦閱讀

---