分庫資料如何查詢統計

xiaohuihui發表於2020-06-22

分庫後的計算不能直接使用SQL;異構庫 SQL 函式不盡相同;JAVA 硬編碼實施難度大;即使藉助透明閘道器訪問遠端資料庫,分庫效能最佳化也是頭疼問題。

一般常規辦法:

方法1:java硬編碼

簡單的跨庫count運算,Java部分程式碼大概要寫成這樣:

public Connection   getConnection(String drivername,String url, String username, String password)   {

                  try   {

                                    Class. forName(drivername);

                                    conn   = DriverManager. getConnection(url, username, password);

                  }   catch (Exception e) {

                                    System. out.println("DBUtils.getConnection_FAILED!");

                                    e.printStackTrace();

                  }

                  return   conn;

}

Connection conn1 = DBUtils. getConnection( URL1,   USER1, PASSWORD1);

Connection conn2 = DBUtils. getConnection( URL2,   USER2, PASSWORD2);

String sql = "select count(*) c from   sales";

 

PreparedStatement ptmt1 = conn1.prepareStatement(sql);

PreparedStatement ptmt2 = conn1.prepareStatement(sql);

ResultSet rs1 = ptmt1.executeQuery();

ResultSet rs2 = ptmt2.executeQuery();

return rs1.getInt("c")   + rs2.getInt("c");

 

方法2:透明閘道器

例如oracle的dblink

分庫資料如何查詢統計

帶有DBLINK的SQL,最佳化起來很複雜。可以透過分析執行計劃,利用collocated inline view,driving_site hint 等手段,來最佳化這些帶有DBLINK的SQL。但這即使對於一名經驗豐富的DBA來說,也是件很頭疼、很費勁的事。

 

這種情況下,如果有集算器就簡單很多,看下面這個例子:

n個庫的count運算。該運算需要在各分庫中分別進行 count,對各分庫的結果,在彙總階段要用sum求和,集算器(SPL)僅4行就可以搞定了。


A B
1 =n.(connect("mysql"+string(~))) //獲取n個分庫的連線
2 =SQL="select   count(*) c from sales" //需要在分庫中執行的SQL
3 =A1.(~.cursor(SQL)) //在n個分庫中執行 SQL
4 =A3.conjx().total(sum(c)) //將各分庫算出的count值進行彙總

即使分庫資料庫為異構的情況,集算器也可以透過SQL翻譯功能方便地進行SQL轉化,為不同資料庫提供可執行的SQL。

利用集算器還可根據資料特徵,輕鬆寫出具有針對性的高效能程式碼,無需大量硬編碼,即可實現高效的演算法 。諸如排序、top、分組、去重、連線等各類分庫運算,都可以輕鬆實現,感興趣可以參考:

 

集算器還很容易嵌入到Java應用程式中, 有使用和獲得它的方法。

關於集算器安裝使用、獲得免費授權和相關技術資料,可以參見 。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69900830/viewspace-2699891/,如需轉載,請註明出處,否則將追究法律責任。

相關文章