[MySQLFAQ]系列–新年新思想：MySQL也能併發匯入資料

科技小先鋒發表於2017-11-24
MySql
對MySQL的使用者而言，備受詬病的一個問題就是匯入SQL備份檔案時不能併發，使得匯入的效率很低。

今天，我們就來改變下思路，嘗試一下併發匯入的方法，供大家參考。

1、問題分析

想要實現併發匯入，其實沒那麼難，最簡單的思路就是：將完整的檔案切分成多份，然後併發匯入即可。

在這裡，我自己的做法是這樣的：
1) 首先，假設只有一個庫；多個庫的情況也是類似，無非就是迴圈
2) 計算SQL檔案總行數
3) 計算SQL檔案總大小
4) 設定每個切分檔案最大尺寸
5) 初始化表結構
6) 迴圈處理SQL，按照切分檔案最大尺寸切分成多個小檔案
7) 併發匯入多個小檔案
上述方法中，如果資料表是 MyISAM 表，則併發匯入沒有問題，但如果是 InnoDB 表，則會有表級鎖 AUOT-INC 導致併發效率不高的麻煩，儘管如此，那也比單個檔案序列匯入來的快一些。想要避免這個麻煩，就得采用 MySQL 5.1 版本了，因為在 5.1 中，改進了 AUTO-INC 的處理方式，規避了表級鎖，很大程度提高了併發效率。

2、實際測試

事先設定：最大並大匯入執行緒是16個。

2.1 MySQL 5.0.67 版本
innodb_flush_log_at_trx_commit = 1
序列匯入：01:51:34
並行匯入：01:25:05
innodb_flush_log_at_trx_commit = 0
序列匯入：01:49:36
並行匯入：01:11:29
2.2 MySQL 5.1版本
innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 0
序列匯入：01:52:28
並行匯入：01:38:13
innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 1
序列匯入：01:54:55
並行匯入：01:26:24
innodb_autoinc_lock_mode = 0
並行匯入：01:38:13
innodb_autoinc_lock_mode = 1
並行匯入：01:05:51
更加詳細的測試就不再做了。

3、小結

從上面的測試結果可以看到，MySQL 5.1在AUTO-INC鎖方面的改進還是非常大的，對於想要提升併發效能，同時應用相對不是太複雜，並且不擔心會碰到bug的童鞋可以多多嘗試下。


本文轉自葉金榮51CTO部落格，原文連結：http://blog.51cto.com/imysql/308994，如需轉載請自行聯絡原作者


相關文章