資料表每天五千四百萬資料,,如何彙總
mysql資料表table1每天5千4百萬資料,十張分表(或者五十張分表),目前還未確定分表數,
資料量是確定了,根據表中四個欄位(c1,c2,c3,c4)彙總,四個欄位相同就可合為一條,累加金額。
目前的處理方式是使用java, 不考慮儲存過程(公司限制,分表太多,儲存過程不利於維護)
方案一,在記憶體中計算判斷,累加,在記憶體中儲存彙總結果, 因為資料量太大, 不是很合適。
方案二, 批量取出(如五千條),一批批匯總, 將結果插入臨時表中。再進行彙總。
方案三, 將四個欄位的某個欄位作為分表維度, 這樣子的結果就是,每個表中的彙總結果都會各自獨立,不需要再次彙總, 缺點是 每張表的資料量可能不平均。 (所有資料彙總完後,最多會有6萬條彙總結果。)
彙總完後,最後還有個處理過程就是,彙總結果表table2中的主鍵id 需要回填進 table1 對應的記錄(為了表明table1的記錄彙總到了table2中的某條記錄)。
個人認為幾張方案都不是很合適。
論壇大神有其他好的方案麼。
相關文章
- 資料彙總
- 彙總資料
- 機器學習資料彙總機器學習
- mycat 資料彙總
- 資料探勘資源彙總
- 值得白嫖的資料庫常用操作語句彙總(資料庫、資料表、資料操作)資料庫
- PostgreSQL資料庫修改sql表的方法彙總SQL資料庫
- JavaScript資料方法彙總JavaScript
- EJS資料彙總JS
- 水稻資料庫彙總資料庫
- [MYSQL -12]彙總資料MySql
- 參考資料彙總
- ASM資訊資料彙總ASM
- 【資源】史上最全資料集彙總
- Elasticsearch搜尋資料彙總Elasticsearch
- Excel資料分類彙總Excel
- 【彙總】語料庫資源
- Zend Framework 2.0資料彙總Framework
- Nosqlfans的redis資料彙總SQLRedis
- 入門大資料---大資料調優彙總大資料
- 國產資料庫考試資料彙總(持續更新)資料庫
- 資料預處理方法彙總
- 資料統計指令碼(彙總)指令碼
- 資料探勘-預測模型彙總模型
- Latex使用——Latex資料彙總整理
- TensorFlow學習資料彙總
- Java 8學習資料彙總Java
- 學習swift的資料彙總Swift
- 隱私計算資料彙總
- Redis基本資料型別命令彙總Redis資料型別
- mysql資料庫最佳化彙總MySql資料庫
- 資料彙總丨數析學院
- javaHTML5學習資料彙總JavaHTML
- Spring Boot學習資料彙總Spring Boot
- Apple Swift學習資料彙總APPSwift
- 我愛機器學習--機器學習方向資料彙總機器學習
- 00_Zotero學習資料彙總
- 重磅資料!Github上的PHP資源彙總大全GithubPHP