2020-09-23【學習筆記】【企業資料湖】三、Lambda架構：一種資料湖實現模式（1）

一 、什麼是Lambda架構

Lambda具有的要素：

• 一套模式和標準。Lambda機構定義了一套面向大資料應用的模式和準則 。更重要的是，它允許同時查詢歷史資料和實時增長的資料。並且獲得期望的分析檢視。
• 處理歷史資料和實時資料
• 技術無關和通用性。Lambda架構是一種通用的模式，完全不依賴於任何技術，而且任何技術只要能滿足需求，都可以在Lambda架構中應用。
• Lambda架構清楚的吧責任劃分到不同的功能木塊/層中。它按照層來劃分職責，完美地遵循了設計模式中的關注點分離原則
• 領域無關。作為一種通用的模式，Lambda架構可以應用於不同的業務領域

二、Lambda架構簡史

Nathan Marz創造了Lambda Achitecture 這個術語，用於描述一種通用的、可擴充套件的容錯的資料模式。該模式是一種概念：通過使用兩個重要元件來處理海量資料。分別是批處理和快速處理層。Nathan把他的發現和經驗概括為Lambda架構。該架構需要滿足一些重要的設計模式：

線性可擴充套件原則

容錯原則

backtype：讀取和更新

可擴充套件原則

三、Lambda架構的原則

1、容錯原則

2、不可變資料原則

3、重新計算原則