2020-09-23【學習筆記】【企業資料湖】三、Lambda架構:一種資料湖實現模式(1)

qihoo233 發表於 2020-09-23

一 、什麼是Lambda架構

Lambda具有的要素:

  • 一套模式和標準。Lambda機構定義了一套面向大資料應用的模式和準則 。更重要的是,它允許同時查詢歷史資料和實時增長的資料。並且獲得期望的分析檢視。
  • 處理歷史資料和實時資料
  • 技術無關和通用性。Lambda架構是一種通用的模式,完全不依賴於任何技術,而且任何技術只要能滿足需求,都可以在Lambda架構中應用。
  • Lambda架構清楚的吧責任劃分到不同的功能木塊/層中。它按照層來劃分職責,完美地遵循了設計模式中的關注點分離原則
  • 領域無關。作為一種通用的模式,Lambda架構可以應用於不同的業務領域

二、Lambda架構簡史

Nathan Marz創造了Lambda Achitecture 這個術語,用於描述一種通用的、可擴充套件的容錯的資料模式。該模式是一種概念:通過使用兩個重要元件來處理海量資料。分別是批處理和快速處理層。Nathan把他的發現和經驗概括為Lambda架構。該架構需要滿足一些重要的設計模式:

線性可擴充套件原則

容錯原則

backtype:讀取和更新

可擴充套件原則

三、Lambda架構的原則

1、容錯原則

2、不可變資料原則

3、重新計算原則