每秒570000的寫入，MySQL如何實現？

來源：吳炳錫

yq.aliyun.com/articles/278034

MySQL資料庫如何實現每秒570000的寫入，透過本文了解下。

一、需求

一個朋友接到一個需求，從大資料平臺收到一個資料寫入在20億+，需要快速地載入到MySQL中，供第二天業務展示使用。

二、實現再分析

對於單表20億， 在MySQL運維，說真的這塊目前涉及得比較少，也基本沒什麼經驗，但對於InnoDB單表Insert 如果記憶體大於資料情況下，可以維持在10萬-15萬行寫入。但很多時間我們接受的專案還是資料超過記憶體的。這裡使用XeLabs TokuDB做一個測試。

三、XeLabs TokuDB 介紹

專案地址：

相對官方TokuDB的最佳化：

內建了jemalloc 記憶體分配

引入更多的內建的TokuDB效能指標

支援Xtrabackup備份

引入ZSTD壓縮演算法

支援TokuDB的binlog_group_commit特性

四、測試表

TokuDB核心配置：

loose_tokudb_cache_size=4G

loose_tokudb_directio=ON

loose_tokudb_fsync_log_period=1000

tokudb_commit_sync=0

表結構

CREATE TABLE `user_summary` (

 `user_id` bigint(20) unsigned NOT NULL COMMENT '使用者id/手機號',

 `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)',

 `level` varchar(20) DEFAULT NULL COMMENT '重量級',

 `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率',

 `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數',

 UNIQUE KEY `u_user_id` (`user_id`)

) ENGINE=TokuDB DEFAULT CHARSET=utf8

利用load data寫入資料

root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' 

INTO TABLE user_summary(user_id, weight, level, beat_rate,level_num);

Query OK, 200000000 rows affected (5 min 48.30 sec)

Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0

計算一下每秒寫入速度：

root@localhost [zst]>select 200000000/(5*60+48.30);

+------------------------+

| 200000000/(5*60+48.30) |

+------------------------+

| 574217.6285 |

+------------------------+

1 row in set (0.00 sec)

檔案大小：

-rw-r--r-- 1 root root 8.5G 11月 25 20:05 134-136.txt

-rw-r----- 1 mysql mysql 8.6K 11月 25 20:44 user_summary.frm

-rw-r----- 1 mysql mysql 3.5G 11月 25 20:51 user_summary_main_229_1_1d_B_0.tokudb

實際檔案8.5G，寫入TokuDB大小3.5G，只是接近於一半多點的壓縮量。對於20億資料寫入，實際測試在58分鐘多點就可以完成。可以滿足實際需求，另外對於磁碟IO比較好的機器（SSD類盤，雲上的雲盤），如果記憶體和資料差不多情況，這量級資料量測試在Innodb裡需要新增自增列，可以在3個小多一點完成。從最佳實戰上來看，Innodb和TokuDB都寫入同樣的資料，InnoDB需要花大概是TokuDB3-4倍時間。檔案大小區別，同樣20億資料：

-rw-r----- 1 mysql mysql 35G 11月 25 23:29 user2_main_26a_1_1d_B_0.tokudb

-rw-r----- 1 mysql mysql 176G 11月 26 03:32 user5.ibd

檔案大小在5倍大小的區別。

測試結論：

利用TokuDB在某雲環境中8核8G記憶體，500G高速雲盤環境，多次測試可以輕鬆實現57萬每秒的寫入量。

另外測試幾種場景也供大家參考：如果在TokuDB中使用帶自增的主鍵，主鍵無值讓MySQL內部產生寫入速度，下降比較明顯，同樣寫入2億資料，帶有自建主鍵：

root@localhost [zst]>CREATE TABLE `user3` (

 -> `user_id` bigint(20) unsigned NOT NULL COMMENT '使用者id/手機號',

 -> `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)',

 -> `level` varchar(20) DEFAULT NULL COMMENT '重量級',

 -> `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率',

 -> `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數',

 -> `id` bigint(20) NOT NULL AUTO_INCREMENT,

 -> PRIMARY KEY (`id`),

 -> UNIQUE KEY `u_user_id` (`user_id`)

 -> ) ENGINE=TokuDB;

Query OK, 0 rows affected (0.03 sec)

root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' INTO TABLE user3(user_id, weight, level, beat_rate,level_num);

Query OK, 200000000 rows affected (22 min 43.62 sec)

Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0

同樣的資料寫入在主鍵自增無值產生時，不能使用TokuDB的 Bulk loader data特性，相當於轉換為了單條的Insert實現，所以效果上慢太多。

關於TokuDB Bulk Loader前提要求，這個表是空表，對於自增列，如自增列有值的情況下，也可以使用。建議實際使用中，如果自增列有值的情況下，可以考慮去除自增屬性，改成唯一索引，這樣減少自增的一些處理邏輯，讓TokuDB能跑地更快一點。另外在Bulk Loader處理中為了追求更快速的寫入，壓縮方面並不是很好。

關於TokuDB Bulk Loader :

五、測試環境說明

測試使用CentOS7環境，編譯的XeLabs TokuDB版本百度雲地址：

。