Streaming特性和適用場景

休斯頓鳳梨發表於2020-11-26

Streaming簡介

在這裡插入圖片描述

應用場景

在這裡插入圖片描述

元件佈署

在這裡插入圖片描述

Spark Streaming 和 Streaming的區別

在這裡插入圖片描述

Spark Streaming 和 Streaming取捨

在這裡插入圖片描述
大於秒級別:Spark/MapReduce都可以

Streaming架構

Streaming概念

在這裡插入圖片描述

  • 拓撲
    在這裡插入圖片描述
  • streaming處理過程
    在這裡插入圖片描述
  • Worker
    在這裡插入圖片描述
  • Task
    在這裡插入圖片描述
    Spout和Bolt連線,依靠Stream Grouping
    在這裡插入圖片描述

Stream Grouping —訊息分發策略

在這裡插入圖片描述

Streaming特性

Nimbus HA

在這裡插入圖片描述

Stream容災能力

在這裡插入圖片描述
?
自動遷移

Stream訊息自動傳輸

在這裡插入圖片描述
最少一次——Stream/kafka

Streaming最少一次——ACK機制

在這裡插入圖片描述

可靠設定

在這裡插入圖片描述

與其他元件

在這裡插入圖片描述
left kafka:臨時快取
實時場景,資料不落地——資料處理之前不落地,處理以後,存在相應位置

Streaming API

在這裡插入圖片描述

相關文章