使用Storm、Kafka和ElasticSearch處理實時資料 -javacodegeeks

banq發表於2020-10-23
ORMKafkaElasticsearchJava

這是使用Storm，Kafka和ElasticSearch處理實時資料的文章和原始碼
批處理和流處理的區別：
  • 批處理：批處理是要一起處理的資料的集合（請參見圖1）。批處理允許您將不同的資料點合併，合併或聚合在一起。在整個批次完成處理之前，通常無法獲得其結果。批次越大，從中獲取有用資訊的等待時間就越長。如果需要更直接的結果，則流處理是更好的解決方案。
  • 流處理：流處理器作用於無限制的資料流，而不是連續攝取的一批資料點（“流”）（請參見圖2）。與批處理過程不同，沒有明確定義的起點或終點到流經此流的資料點。它是連續的。低延遲（或高速）是此處用於選擇流處理的關鍵字。

流處理鏈如圖所示：

使用Storm、Kafka和ElasticSearch處理實時資料 -javacodegeeks
可以使用的另一種技術堆疊是SMACK [1]：

  • Spark：引擎（替代Storm）
  • Mesos：容器
  • Akka：模型
  • Cassandra：儲存（替代ElasticSearch）
  • Kafka：訊息代理



 

相關文章