網際網路誕生之初雖然資料量暴增，單日事實表條數達千萬級別，
但客戶需求場景更多是“t+1”形式，只需對當日、當週、當月資料進行分析，這些訴求僅離線分析就可滿足。
隨著大資料領域不斷髮展，企業對於業務場景的訴求也從離線的滿足轉到高實時性的要求，數棧產品也在這一過程中進行著不斷的迭代升級，隨之誕生了kafka+flink組合 ，同時kafka + etl-engine（融合計算的加持）組合也實現了輕量級的流式計算引擎。 
# 流計算與批計算對比
- 資料時效性
流式計算實時、低延遲，流式計算適合以“t+0”的形式呈現業務資料；
批計算非實時、高延遲，批計算適合以“t+1”的形式呈現業務資料；
- 資料特徵
流式計算資料一般是動態資料，資料是隨時產生的；
批計算資料一般是靜態資料，資料事先已經儲存在各種介質中。
- 應用場景
流式計算應用在實時場景，如：業務監控、實時推薦等。
批計算應用在離線計算場景，如：資料分析、離線報表等。
- 執行方式
流式計算的任務是阻塞式的，一直持續執行中。
批計算的任務是一次性完成即結束。
# etl-engine 實現流式計算
etl-engine 支援透過自身提供的 ”kafka消費節點“進行訊息消費，並在消費資料流（訊息流）的同時呼叫自身提供的“融合查詢API”，實現將多種資料來源的維表資料讀取到記憶體中，然後將訊息流與多個維表資料進行各種關聯查詢，最後輸出融合查詢結果集到目標源，常用在將多個維表資料與實時訊息流關聯後轉換成一個大寬表的場景。
![](http://img.blog.itpub.net/blog/2023/04/08/eac287280257d920.png?x-oss-process=style/bb)
## 融合查詢語法

融合查詢語法遵循ANSI SQL標準，與常規MySQL查詢語法很相似。
- 支援對多種類別資料庫之間讀取的資料進行融合查詢。
- 支援訊息流資料傳輸過程中動態產生的資料與多種型別資料庫之間的流計算查詢。
- 融合查詢語法遵循ANSI SQL標準。
**select 支援**

```shell
SELECT
      [DISTINCT] field [, field ...]
      FROM table [, table ...]
      [WHERE condition]
      [GROUP BY field [, field ...] ]
      [HAVING condition]
   [ORDER BY order_item [, order_item ...] ]
   [LIMIT number_of_records [OFFSET number_of_records ] ]

```
**table支援**
```shell
INNER JOIN
LEFT JOIN
RIGHT JOIN
OUTER  JOIN
CROSS JOIN
```

後續會詳細介紹融合查詢支援的內容

# 參考資料

```shell
  [免費下載](https://github.com/hw2499/etl-engine/releases)
  [etl-engine使用手冊](https://github.com/hw2499/etl-engine)
  [etl-crontab使用手冊](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
  [嵌入指令碼開發](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
  [etl-engine配置樣例](https://github.com/hw2499/etl-engine/wiki/etl-engine%E4%BD%BF%E7%94%A8%E6%A0%B7%E4%BE%8B)
```

流批一體資料交換引擎 etl-engine

相關文章