分庫資料如何查詢統計
分庫後的計算不能直接使用SQL;異構庫 SQL 函式不盡相同;JAVA 硬編碼實施難度大;即使藉助透明閘道器訪問遠端資料庫,分庫效能最佳化也是頭疼問題。
一般常規辦法:
方法1:java硬編碼
簡單的跨庫count運算,Java部分程式碼大概要寫成這樣:
… public Connection getConnection(String drivername,String url, String username, String password) { try { Class. forName(drivername); conn = DriverManager. getConnection(url, username, password); } catch (Exception e) { System. out.println("DBUtils.getConnection_FAILED!"); e.printStackTrace(); } return conn; } … … Connection conn1 = DBUtils. getConnection( URL1, USER1, PASSWORD1); Connection conn2 = DBUtils. getConnection( URL2, USER2, PASSWORD2); … String sql = "select count(*) c from sales";
PreparedStatement ptmt1 = conn1.prepareStatement(sql); PreparedStatement ptmt2 = conn1.prepareStatement(sql); … ResultSet rs1 = ptmt1.executeQuery(); ResultSet rs2 = ptmt2.executeQuery(); … return rs1.getInt("c") + rs2.getInt("c"); … |
方法2:透明閘道器
例如oracle的dblink
帶有DBLINK的SQL,最佳化起來很複雜。可以透過分析執行計劃,利用collocated inline view,driving_site hint 等手段,來最佳化這些帶有DBLINK的SQL。但這即使對於一名經驗豐富的DBA來說,也是件很頭疼、很費勁的事。
這種情況下,如果有集算器就簡單很多,看下面這個例子:
n個庫的count運算。該運算需要在各分庫中分別進行 count,對各分庫的結果,在彙總階段要用sum求和,集算器(SPL)僅4行就可以搞定了。
|
A | B |
1 | =n.(connect("mysql"+string(~))) | //獲取n個分庫的連線 |
2 | =SQL="select count(*) c from sales" | //需要在分庫中執行的SQL |
3 | =A1.(~.cursor(SQL)) | //在n個分庫中執行 SQL |
4 | =A3.conjx().total(sum(c)) | //將各分庫算出的count值進行彙總 |
即使分庫資料庫為異構的情況,集算器也可以透過SQL翻譯功能方便地進行SQL轉化,為不同資料庫提供可執行的SQL。
利用集算器還可根據資料特徵,輕鬆寫出具有針對性的高效能程式碼,無需大量硬編碼,即可實現高效的演算法 。諸如排序、top、分組、去重、連線等各類分庫運算,都可以輕鬆實現,感興趣可以參考:
集算器還很容易嵌入到Java應用程式中, 有使用和獲得它的方法。
關於集算器安裝使用、獲得免費授權和相關技術資料,可以參見 。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69900830/viewspace-2699891/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫分類統計、分組查詢資料庫
- 常用資料庫查詢統計彙總資料庫
- 如何分頁顯示資料庫查詢結果?資料庫
- 海關資料查詢系統「查詢平臺分類」
- 資料庫全表查詢之-分頁查詢優化資料庫優化
- 提高ORACLE資料庫的查詢統計速度(轉)Oracle資料庫
- Oracle資料庫中的分頁查詢Oracle資料庫
- 資料庫查詢資料庫
- 資料庫 - 資料查詢資料庫
- 資料庫資料的查詢----連線查詢資料庫
- 百億級資料 分庫分表 後怎麼分頁查詢?
- 基於MSSQLSQL資料庫大批次資料的分塊分頁查詢SQL資料庫
- 如何查詢主流資料庫系統的預設埠號資料庫
- elasticsearch查詢之大資料集分頁查詢Elasticsearch大資料
- 資料統計查詢最佳化
- 資料庫高階查詢之子查詢資料庫
- 求助:資料庫查詢資料庫
- ThinkPHP 資料庫查詢PHP資料庫
- 查詢資料庫大小資料庫
- 資料庫排序查詢資料庫排序
- Jemter查詢資料庫資料庫
- 【資料結構】折半查詢(二分查詢)資料結構
- 資料庫 - 連線查詢、巢狀查詢、集合查詢資料庫巢狀
- 資料庫基礎查詢--單表查詢資料庫
- 資料庫查詢優化:巢狀查詢資料庫優化巢狀
- 如何使用Java Streams進行資料庫查詢?Java資料庫
- 如何查詢和管理織夢CMS資料庫資料庫
- 資料庫分組查詢最大值的問題資料庫
- MySql、SqlServer、Oracle 三種資料庫查詢分頁方式MySqlServerOracle資料庫
- 資料庫查詢語句資料庫
- 資料庫查詢優化資料庫優化
- mysql資料庫多表查詢MySql資料庫
- mysql資料庫容量查詢MySql資料庫
- 資料庫查詢步驟資料庫
- 資料庫查詢配置值資料庫
- [冷楓推薦]:資料庫操作,內外聯查詢,分組查詢,巢狀查詢,交叉查詢,多表查詢,語句小結。資料庫巢狀
- MySQL資料庫基礎——多表查詢:子查詢MySql資料庫
- 多個異構資料庫如何關聯查詢資料庫