1. 基本資訊
資料工程之道：設計和構建健壯的資料系統
-
[美]喬·里斯(Joe Reis),[美]馬特·豪斯利(Matt Housley)著
-
機械工業出版社,2024年2月出版
1.1. 讀薄率
書籍總字數473千字，筆記總字數109584字。
讀薄率109584÷473000≈23.17%
1.2. 讀厚方向
-
Data Mesh權威指南
-
資料的邊界：隱私與個人資料保護
-
資料保護：工作負載的可恢復性
-
資料質量管理：資料可靠性與資料質量問題解決之道
-
Julia資料科學應用
-
MLOps權威指南
-
資料自助服務實踐指南：資料開放與洞察提效
-
商戰資料探勘：你需要了解的資料科學與分析思維
-
Spark快速大資料分析（第2版）
1.3. 筆記--章節對應關係
| 筆記 | 章節 | 字數 | 釋出日期 2024年 |
| 讀資料工程之道：設計和構建健壯的資料系統01資料工程概述 | 第1章 資料工程概述 | 4170 | 10月7日 |
| 讀資料工程之道：設計和構建健壯的資料系統02資料工程師 | 第1章 資料工程概述 | 5096 | 10月8日 |
| 讀資料工程之道：設計和構建健壯的資料系統03資料工程生命週期（上） | 第2章 資料工程生命週期 | 2423 | 10月9日 |
| 讀資料工程之道：設計和構建健壯的資料系統04資料工程生命週期（下） | 第2章 資料工程生命週期 | 3962 | 10月10日 |
| 讀資料工程之道：設計和構建健壯的資料系統05底層設計（上） | 第2章 資料工程生命週期 | 3867 | 10月11日 |
| 讀資料工程之道：設計和構建健壯的資料系統06底層設計（下） | 第2章 資料工程生命週期 | 2921 | 10月12日 |
| 讀資料工程之道：設計和構建健壯的資料系統07資料架構的原則 | 第3章 設計好的資料架構 | 4915 | 10月13日 |
| 讀資料工程之道：設計和構建健壯的資料系統08主要架構概念 | 第3章 設計好的資料架構 | 2410 | 10月14日 |
| 讀資料工程之道：設計和構建健壯的資料系統09示例和型別 | 第3章 設計好的資料架構 | 2597 | 10月15日 |
| 讀資料工程之道：設計和構建健壯的資料系統10技術選擇 | 第4章 根據資料生命週期選擇技術 | 3041 | 10月16日 |
| 讀資料工程之道：設計和構建健壯的資料系統11雲經濟學 | 第4章 根據資料生命週期選擇技術 | 3470 | 10月17日 |
| 讀資料工程之道：設計和構建健壯的資料系統12開源軟體 | 第4章 根據資料生命週期選擇技術 | 3056 | 10月18日 |
| 讀資料工程之道：設計和構建健壯的資料系統13無伺服器 | 第4章 根據資料生命週期選擇技術 | 2518 | 10月19日 |
| 讀資料工程之道：設計和構建健壯的資料系統14源系統 | 第5章 源系統中的資料生成 | 3031 | 10月20日 |
| 讀資料工程之道：設計和構建健壯的資料系統15源系統實際細節（上） | 第5章 源系統中的資料生成 | 2697 | 10月21日 |
| 讀資料工程之道：設計和構建健壯的資料系統16源系統實際細節（下） | 第5章 源系統中的資料生成 | 3109 | 10月22日 |
| 讀資料工程之道：設計和構建健壯的資料系統17儲存的原材料 | 第6章 儲存 | 3762 | 10月23日 |
| 讀資料工程之道：設計和構建健壯的資料系統18資料儲存系統(上） | 第6章 儲存 | 2806 | 10月24日 |
| 讀資料工程之道：設計和構建健壯的資料系統19資料儲存系統 (下） | 第6章 儲存 | 2674 | 10月25日 |
| 讀資料工程之道：設計和構建健壯的資料系統20資料工程儲存抽象 | 第6章 儲存 | 3988 | 10月26日 |
| 讀資料工程之道：設計和構建健壯的資料系統21資料獲取 | 第7章 獲取 | 2665 | 10月27日 |
| 讀資料工程之道：設計和構建健壯的資料系統22獲取階段考慮因素 | 第7章 獲取 | 2777 | 10月28日 |
| 讀資料工程之道：設計和構建健壯的資料系統23批次獲取的考慮因素 | 第7章 獲取 | 2268 | 10月29日 |
| 讀資料工程之道：設計和構建健壯的資料系統24獲取資料的方式 | 第7章 獲取 | 3446 | 10月30日 |
| 讀資料工程之道：設計和構建健壯的資料系統25查詢 | 第8章 查詢、建模和轉換 | 3767 | 11月2日 |
| 讀資料工程之道：設計和構建健壯的資料系統26資料建模 | 第8章 查詢、建模和轉換 | 3448 | 11月3日 |
| 讀資料工程之道：設計和構建健壯的資料系統27轉換 | 第8章 查詢、建模和轉換 | 4842 | 11月4日 |
| 讀資料工程之道：設計和構建健壯的資料系統28資料服務常見關注點 | 第9章 為分析、機器學習和反向ETL提供資料服務 | 2712 | 11月5日 |
| 讀資料工程之道：設計和構建健壯的資料系統29分析 | 第9章 為分析、機器學習和反向ETL提供資料服務 | 4110 | 11月6日 |
| 讀資料工程之道：設計和構建健壯的資料系統30機器學習 | 第9章 為分析、機器學習和反向ETL提供資料服務 | 3848 | 11月7日 |
| 讀資料工程之道：設計和構建健壯的資料系統31安全和隱私 | 第10章 安全和隱私 | 3900 | 11月8日 |
| 讀資料工程之道：設計和構建健壯的資料系統32序列化和雲網路 | 附錄A 序列化和壓縮技術的細節 附錄B 雲網路 |
2344 | 11月9日 |
| 讀資料工程之道：設計和構建健壯的資料系統33未來 | 第11章 資料工程的未來 | 2944 | 11月10日 |
| $ | 總計 | 109584 | $ |
2. 亮點
2.1 詳述什麼叫資料工程
-
資料工程不同於軟體工程
-
有自己的特色、特點
2.2 流和批處理的比較
- 批處理源遠流長
- 但是流技術的發展，漸漸有取代之勢
- 還有微批處理
2.3 資料分層和冷熱
- 根據資料冷熱不同進行資料分層
- 不同溫度的資料處於不同的層次
- 說到底，就是具體資料具體分析
2.4 資料工程師和其他角色的關係和區別
-
描述了資料工程師的主要工程
-
同時也指出了不同角色和資料工程師之間的關係和區別
- 尤其是資料科學家和軟體工程師
3. 感想
3.1 這個筆記好長啊
- 如果沒有記錯的話，這個更新時長和字數，應該是除了學中項、高項之外的最多的筆記了
3.2 隨著資料的不斷增長，資料工程出現了
-
事物的發展都是有一個過程的
-
資料不到一定的級別，一定的量級，資料工程不會出現
-
資料工程有自己的規律和規則，需要根據自身的情況實施
3.3 既要適應現實需求，又要有一定的前瞻性
-
在進行資料工程時，既要根據該工程的實際情況選擇合適的工具和架構以及系統構建
-
同時，也要有一定的前瞻性，用於適應未來的變化
-
但是，也不同太超前了，太超前了也往往意味著失敗，過猶不及