大資料量的報表如何快速分頁呈現?
在說明這個問題的處理方法前,先了解下是什麼原因導致的大資料量報表呈現慢的問題。
一般不外乎這兩種原因:
1 . 資料查詢業務,查詢條件寬泛,導致資料庫查詢後的結果集資料條數達到幾百上千萬甚至過億;
2 . 採用記憶體運算機制,即如此龐大的資料量要一次性在記憶體計算完成,後再進行呈現,使用者體驗特別不好,這個過程中很可能因為計算量大 出現記憶體溢位,無法繼續計算。
針對這種情況,我們可以採用非同步處理的方式,將取數和呈現分為兩個執行緒非同步處理,取數執行緒發出 SQL 後不斷取出資料快取到本地,由呈現執行緒從本地快取中獲取資料進行顯示。這樣,已經取出並快取的資料就能快速呈現,不再有等待感;而取數執行緒所涉及的 SQL,在資料庫中保持同一個事務,也不會有不一致的問題,前面提到的兩個問題全部得以完美解決。
同時,藉助二進位制檔案儲存格式,報表還可以按行號隨機訪問記錄,而不用每次透過遍歷查詢資料。也就是說,這種儲存格式支援跳轉到任意頁訪問,從而極大地改善了使用者體驗。不過,由於採用了非同步機制,頁面端顯示的總頁數和總記錄數會隨著取數過程不斷變化。
目前潤乾報表已經將這種處理機制產品化,只需要一個簡單的設定就可以了。
詳細設定可參考:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69900830/viewspace-2701218/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 報表連 hive,資料量比較大,怎麼分頁查詢?Hive
- 報表連 MongoDB,資料量大報表慢,怎麼做分頁?MongoDB
- access資料庫大資料量分頁的問題資料庫大資料
- 大資料量報表展現慢容易卡死,怎麼辦?大資料
- sql 資料庫 龐大資料量 需要分表SQL資料庫大資料
- mysql大資料量分頁查詢方法及其優化MySql大資料優化
- 如何快速最佳化幾千萬資料量的訂單表
- oracle外部表實現大資料量的Excel匯入Oracle大資料Excel
- 怎麼檢查報表工具對大資料量報表的支援性?大資料
- Sybase 大資料量(100W條)分頁 jdbc實現目前要求無排序大資料JDBC排序
- 千萬條資料,Stack Overflow 是如何實現快速分頁的?
- React如何渲染大資料量的列表?React大資料
- 實現小資料量和海量資料的通用分頁顯示儲存過程儲存過程
- 大資料量分割槽表統計資訊的管理大資料
- 如何在分組報表中實現組內資料補空行及組內頁碼
- 請教大資料量查詢怎麼分頁查詢?資料量大概有7,8億條。謝謝大資料
- 資料庫中的圖片欄位怎麼在報表中呈現資料庫
- oracle資料庫用sql實現快速分頁Oracle資料庫SQL
- 資料量很大,分頁查詢很慢,該怎麼優化?優化
- MySQL大資料量快速插入方法和語句優化MySql大資料優化
- 實現報表資料分庫儲存
- DBA福音 | 如何無視資料量快速搭建測試資料庫資料庫
- MySQL 百萬級資料量分頁查詢方法及其最佳化MySql
- mysql 關於大資料量日誌表的優化過程MySql大資料優化
- 大屏報表中如何實現多圖表間的聯動?
- 什麼是大報表?如何解決大報表的問題?
- 分欄報表-物品清單報表實現
- oracle 大資料量資料插入Oracle大資料
- 大資料量刪除的思考(二)大資料
- 大資料量刪除的思考(三)大資料
- 大資料量刪除的思考(四)大資料
- 大資料量刪除的思考(一)大資料
- 關於大資料量的處理大資料
- 大資料量rebuild index的經歷大資料RebuildIndex
- mysql 關於大資料量日誌表的最佳化過程MySql大資料
- 如何實現報表滾動到底部進行翻頁的效果
- SQL Server 2005快速Web分頁的實現SQLServerWeb
- mysql 表資料量大量查詢慢如何優化MySql優化