ClickHouse 實時資料去重final+group by
實時資料使用final 最為保險。
實時資料求和用final + group by 最為保險
一、實時資料獲取最新訂單狀態並去重
1. 使用final (推薦)
去重並取最新的資料
select
order_number --訂單號
,id --產品ID
,cnt--產品數量
,price--產品當時價格
from a final
where no='1234567'
2. 使用group by
--數量共4 產品65 2個 產品66 2個
select
order_number --訂單號
,id --產品ID
,cnt--產品數量
,price--產品當時價格
from a
where no='1234567'
group by
order_number --訂單號
,id --產品ID
,cnt--產品數量
,price --產品當時價格
3. 使用argMax() (不可取)
去重了相同數量不同產品id 的資料,不準確
--此處只顯示一個 2
select
order_number --訂單號
,argMax(id,loaddate) id --產品ID
,argMax(cnt,loaddate) cnt--產品數量
,argMax(price,loaddate) price--產品當時價格
from a
where no='1234567'
group by order_number --訂單號
二、實時資料金額求和獲取最新訂單狀態並去重使用final +group by
此處訂單重複,需要去重後再彙總
select
order_number --訂單號
,amt --訂單金額
from b
where order_number ='123'
1. 使用final+group by (推薦)
select
order_number
,sum(amt)
from b final
where order_number ='123'
group by order_number ;
2. 只使用group by (不可取)
select
order_number
,sum(amt)
from b
where order_number ='123'
group by order_number ;
相關文章
- 【Flink】基於 Flink 的流式資料實時去重
- MySQL去重資料MySql
- 阿里 Canal 實時同步 MySQL 增量資料至 ClickHouse 資料庫阿里MySql資料庫
- KaiwuDB 時序引擎資料去重功能詳解AI
- C#資料去重C#
- ReplacingMergeTree:實現Clickhouse資料更新
- 大資料去重(data deduplication)方案大資料
- Oracle:重複資料去重,只取最新的一條資料Oracle
- 09_ClickHouse,ReplacingMergeTree,案例,根據排序鍵去重,使用版本引數的去重(學習筆記)排序筆記
- 資料校驗---記一次讀取json配置資料,資料去重,去空JSON
- 從 ClickHouse 到 ByteHouse:實時資料分析場景下的最佳化實踐
- Clickhouse Engine kafka 將kafka資料同步clickhouseKafka
- Clickhouse實時數倉建設
- clickhouse 同步mysql資料MySql
- ClickHouse資料副本引擎
- ClickHouse在大資料領域應用實踐大資料
- clickhouse-mysql資料同步MySql
- 二、ClickHouse 資料型別資料型別
- Spark+ClickHouse企業級資料倉儲實戰Spark
- JS實現陣列去重JS陣列
- 如何實現陣列去重?陣列
- 10W資料匯入該如何與庫中資料去重?
- ClickHouse 之 SummingMergeTree/AggregatingMergeTree 實現準實時看板(qbit)
- 從 MySQL 到 ClickHouse 實時複製與實現MySql
- 微信ClickHouse實時數倉的最佳實踐
- FlinkCDCSQL資料同步mysql->clickhouseMySql
- clickhouse資料型別簡介資料型別
- 資料庫圈周盤點:ClickHouse宣佈推出ClickHouse Cloud資料庫Cloud
- 【資料庫】PostgreSQL中使用`SELECT DISTINCT`和`SUBSTRING`函式實現去重查詢資料庫SQL函式
- python 爬蟲 實現增量去重和定時爬取例項Python爬蟲
- 切片去重(string,int型別去重)型別
- 雲時代,MySQL到ClickHouse資料同步產品對比推薦MySql
- JS陣列去重的實現JS陣列
- Cannot set property ‘dataIndex‘ of undefined 大資料關係圖報錯,賦予的資料有重複,去重AIIndexUndefined大資料
- ClickHouse叢集資料均衡方案分享
- clickhouse 億級資料效能測試
- ClickHouse實戰
- JS陣列去重 – JSON陣列去重陣列JSON