ClickHouse 實時資料去重final+group by
實時資料使用final 最為保險。
實時資料求和用final + group by 最為保險
一、實時資料獲取最新訂單狀態並去重
1. 使用final (推薦)
去重並取最新的資料
select
order_number --訂單號
,id --產品ID
,cnt--產品數量
,price--產品當時價格
from a final
where no='1234567'
2. 使用group by
--數量共4 產品65 2個 產品66 2個
select
order_number --訂單號
,id --產品ID
,cnt--產品數量
,price--產品當時價格
from a
where no='1234567'
group by
order_number --訂單號
,id --產品ID
,cnt--產品數量
,price --產品當時價格
3. 使用argMax() (不可取)
去重了相同數量不同產品id 的資料,不準確
--此處只顯示一個 2
select
order_number --訂單號
,argMax(id,loaddate) id --產品ID
,argMax(cnt,loaddate) cnt--產品數量
,argMax(price,loaddate) price--產品當時價格
from a
where no='1234567'
group by order_number --訂單號
二、實時資料金額求和獲取最新訂單狀態並去重使用final +group by
此處訂單重複,需要去重後再彙總
select
order_number --訂單號
,amt --訂單金額
from b
where order_number ='123'
1. 使用final+group by (推薦)
select
order_number
,sum(amt)
from b final
where order_number ='123'
group by order_number ;
2. 只使用group by (不可取)
select
order_number
,sum(amt)
from b
where order_number ='123'
group by order_number ;
相關文章
- map/reduce實現資料去重
- 【Flink】基於 Flink 的流式資料實時去重
- MySQL去重資料MySql
- 阿里 Canal 實時同步 MySQL 增量資料至 ClickHouse 資料庫阿里MySql資料庫
- KaiwuDB 時序引擎資料去重功能詳解AI
- C#資料去重C#
- MySQL資料庫行去重複和列去重複MySql資料庫
- mysql資料去重和排序MySql排序
- C# datatable中重複資料去重C#
- 大資料去重(data deduplication)方案大資料
- Oracle:重複資料去重,只取最新的一條資料Oracle
- ReplacingMergeTree:實現Clickhouse資料更新
- Clickhouse Engine kafka 將kafka資料同步clickhouseKafka
- 列組合資料去重複值
- 09_ClickHouse,ReplacingMergeTree,案例,根據排序鍵去重,使用版本引數的去重(學習筆記)排序筆記
- 資料校驗---記一次讀取json配置資料,資料去重,去空JSON
- ClickHouse資料副本引擎
- clickhouse 同步mysql資料MySql
- 從 ClickHouse 到 ByteHouse:實時資料分析場景下的最佳化實踐
- 微信ClickHouse實時數倉的最佳實踐
- ClickHouse在大資料領域應用實踐大資料
- 二、ClickHouse 資料型別資料型別
- clickhouse-mysql資料同步MySql
- 【去重】當SYS和SYSTEM使用者出現重複資料庫物件時的應對措施資料庫物件
- MapReduce應用案例--簡單的資料去重
- MapReduce程式設計例項之資料去重程式設計
- 6個備份資料的去重加密工具加密
- 從 MySQL 到 ClickHouse 實時複製與實現MySql
- JS實現陣列去重JS陣列
- 如何實現陣列去重?陣列
- Spark+ClickHouse企業級資料倉儲實戰Spark
- 資料庫圈周盤點:ClickHouse宣佈推出ClickHouse Cloud資料庫Cloud
- clickhouse資料型別簡介資料型別
- 第七篇:經典案例:資料去重
- 騰訊雲ClickHouse如何實現自動化的資料均衡?
- JS陣列去重的實現JS陣列
- ClickHouse實戰
- 10W資料匯入該如何與庫中資料去重?