MySQL使用Batch批量處理

壹頁書發表於2014-04-29
原文網址 : http://blog.itpub.net/29254281/viewspace-1151785/
MySqlBAT
使用MySQL的Batch批量處理,
JDBC驅動版本需要5.1.13或以上
測試使用的JDBC驅動版本:mysql-connector-java-5.1.30-bin


測試表結構如下:
CREATE TABLE test (
  id int(11) DEFAULT NULL,
  name varchar(20) DEFAULT NULL
) ENGINE=InnoDB 

首先使用普通的方式插入100萬條資料,使用時間81948毫秒
程式如下:

  1. public class Test {
  2.     public static void main(String[] args) throws ClassNotFoundException,
  3.             SQLException {
  4.         long start = System.currentTimeMillis();
  5.         Class.forName("com.mysql.jdbc.Driver");
  6.         Connection connection = DriverManager
  7.                 .getConnection(
  8.                         "jdbc:mysql://127.0.0.1:3306/xx",
  9.                         "xx", "xx");

  11.         connection.setAutoCommit(false);
  12.         PreparedStatement cmd = connection
  13.                 .prepareStatement("insert into test values(?,?)");
  14.         
  15.         for (int i = 0; i < 1000000; i++) {
  16.             cmd.setInt(1, i);
  17.             cmd.setString(2, "test");
  18.             cmd.executeUpdate();
  19.         }
  20.         connection.commit();
  21.         
  22.         cmd.close();
  23.         connection.close();
  24.         
  25.         long end = System.currentTimeMillis();
  26.         System.out.println(end - start);
  27.     }
  28. }
使用批量處理，僅用7189毫秒，提升效果非常明顯。
程式如下:

  1. public class Test {
  2.     public static void main(String[] args) throws ClassNotFoundException,
  3.             SQLException {
  4.         long start = System.currentTimeMillis();
  5.         Class.forName("com.mysql.jdbc.Driver");
  6.         Connection connection = DriverManager
  7.                 .getConnection(
  8.                         "jdbc:mysql://127.0.0.1:3306/xx?rewriteBatchedStatements=true",
  9.                         "xx", "xx");

  11.         connection.setAutoCommit(false);
  12.         PreparedStatement cmd = connection
  13.                 .prepareStatement("insert into test values(?,?)");
  14.         
  15.         for (int i = 0; i < 1000000; i++) {
  16.             cmd.setInt(1, i);
  17.             cmd.setString(2, "test");
  18.             cmd.addBatch();
  19.             if(i%1000==0){
  20.                 cmd.executeBatch();
  21.             }
  22.         }
  23.         cmd.executeBatch();
  24.         connection.commit();
  25.         
  26.         cmd.close();
  27.         connection.close();
  28.         
  29.         long end = System.currentTimeMillis();
  30.         System.out.println(end - start);
  31.     }
  32. }
與Oracle不同的是,需要新增下面的引數，才可以使用批量處理，否則還是使用逐條處理的方式。
rewriteBatchedStatements=true

開啟MySQL的查詢日誌general_log,發現如下SQL
INSERT INTO test
VALUES (11, 'test'), (12, 'test'), (13, 'test')......


相對Oracle的批量處理，MySQL需要JDBC引數顯式開啟,並且對於JDBC驅動的版本也有要求。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29254281/viewspace-1151785/，如需轉載，請註明出處，否則將追究法律責任。

相關文章