資料表每天五千四百萬資料,,如何彙總
mysql資料表table1每天5千4百萬資料,十張分表(或者五十張分表),目前還未確定分表數,
資料量是確定了,根據表中四個欄位(c1,c2,c3,c4)彙總,四個欄位相同就可合為一條,累加金額。
目前的處理方式是使用java, 不考慮儲存過程(公司限制,分表太多,儲存過程不利於維護)
方案一,在記憶體中計算判斷,累加,在記憶體中儲存彙總結果, 因為資料量太大, 不是很合適。
方案二, 批量取出(如五千條),一批批匯總, 將結果插入臨時表中。再進行彙總。
方案三, 將四個欄位的某個欄位作為分表維度, 這樣子的結果就是,每個表中的彙總結果都會各自獨立,不需要再次彙總, 缺點是 每張表的資料量可能不平均。 (所有資料彙總完後,最多會有6萬條彙總結果。)
彙總完後,最後還有個處理過程就是,彙總結果表table2中的主鍵id 需要回填進 table1 對應的記錄(為了表明table1的記錄彙總到了table2中的某條記錄)。
個人認為幾張方案都不是很合適。
論壇大神有其他好的方案麼。
相關文章
- 資料彙總
- 彙總資料
- EJS資料彙總JS
- 值得白嫖的資料庫常用操作語句彙總(資料庫、資料表、資料操作)資料庫
- JavaScript資料方法彙總JavaScript
- 水稻資料庫彙總資料庫
- 【資源】史上最全資料集彙總
- TensorFlow學習資料彙總
- Elasticsearch搜尋資料彙總Elasticsearch
- 入門大資料---大資料調優彙總大資料
- 資料統計指令碼(彙總)指令碼
- 資料預處理方法彙總
- CVE-2014-6271資料彙總
- 資料探勘-預測模型彙總模型
- 隱私計算資料彙總
- Latex使用——Latex資料彙總整理
- 國產資料庫考試資料彙總(持續更新)資料庫
- Redis基本資料型別命令彙總Redis資料型別
- mysql資料庫最佳化彙總MySql資料庫
- 00_Zotero學習資料彙總
- Kotlin學習資料彙總(持續更新...)Kotlin
- SAR目標檢測資料集彙總
- 資料庫常用的sql語句彙總資料庫SQL
- SAP Commerce(SAP Hybris)學習資料彙總
- LeetCode 資料庫解題彙總 MySql版LeetCode資料庫MySql
- 單細胞資料 儲存方式彙總
- 資料科學與Python(習題彙總)資料科學Python
- jmeter_彙總報告_資料解讀JMeter
- 【資料庫資料恢復】如何恢復Oracle資料庫truncate表的資料資料庫資料恢復Oracle
- MT6755資料彙總(datasheet、參考設計等相關資料)
- 爆肝收藏的資料分析模板彙總,可直接替換資料,真香!
- 如何學習資料結構和演算法——大佬文章彙總資料結構演算法
- Java資料庫分表與多執行緒查詢結果彙總Java資料庫執行緒
- SQL SERVER 2012查詢資料庫和所有表的大小方法彙總SQLServer資料庫
- Es資料彙總不準確的問題
- Python常用的組合資料型別彙總Python資料型別
- 上海充換電設施大資料彙總大資料
- 資料庫分庫分表解決方案彙總資料庫
- Oracle資料庫中的多種SCN彙總Oracle資料庫