MySQL Binlog三種格式介紹及分析
一.Mysql Binlog格式介紹
MySQL binlog日誌有三種格式,分別為Statement,MiXED,以及ROW!
1.Statement:每一條會修改資料的sql都會記錄在binlog中。
優點:不需要記錄每一行的變化,減少了binlog日誌量,節約了IO,提高效能。(相比row能節約多少效能 與日誌量,這個取決於應用的SQL情況,正常同一條記錄修改或者插入row格式所產生的日誌量還小於Statement產生的日誌量,但是考慮到如果帶條 件的update操作,以及整表刪除,alter表等操作,ROW格式會產生大量日誌,因此在考慮是否使用ROW格式日誌時應該跟據應用的實際情況,其所 產生的日誌量會增加多少,以及帶來的IO效能問題。)
缺點:由於記錄的只是執行語句,為了這些語句能在slave上正確執行,因此還必須記錄每條語句在執行的時候的一些相關資訊,以保證所有語句能在slave得到和在master端執行時候相同的結果。另外mysql的複製,像一些特定函式功能,slave可與master上要保持一致會有很多相關問題(如sleep()函式,last_insert_id(),以及user-defined functions(udf)會出現問題).
使用以下函式的語句也無法被複制:
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非啟動時啟用了 --sysdate-is-now選項)
同時在INSERT ...SELECT 會產生比RBR更多的行級鎖
2.Row:不記錄sql語句上下文相關資訊,僅儲存哪條記錄被修改。
優點: binlog中可以不記錄執行的sql語句的上下文相關的資訊,僅需要記錄那一條記錄被修改成什麼了。所以rowlevel的日誌內容會非常清楚的記錄下每一行資料修改的細節。而且不會出現某些特定情況下的儲存過程,或function,以及trigger的呼叫和觸發無法被正確複製的問題。
缺點:所有的執行的語句當記錄到日誌中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日誌內容,比
如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日誌量會很大,特別是當執行alter
table之類的語句的時候,由於表結構修改,每條記錄都發生改變,那麼該表每一條記錄都會記錄到日誌中。
3.MixedLevel: 是以上兩種level的混合使用,一般的語句修改使用statment格式儲存binlog,如一些函式,statement無法完成主從複製的操作,則 採用row格式儲存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式,也就是在Statement和Row之間選擇 一種。新版本的MySQL中隊row level模式也被做了最佳化,並不是所有的修改都會以row level來記錄,像遇到表結構變更的時候就會以statement模式來記錄。至於update或者delete等修改資料的語句,還是會記錄所有行的變更。
二.Binlog基本配製與格式設定
1.基本配製
MySQL binlog日誌格式可以透過mysql的my.cnf檔案的屬性binlog_format指定。如以下:
binlog_format = MIXED //binlog日誌格式
log_bin = /mysql-bin.log //binlog日誌名
expire_logs_days = 7 //binlog過期清理時間
max_binlog_size 100m //binlog每個日誌檔案大小
2.Binlog日誌格式選擇
MySQL預設是使用Statement日誌格式,推薦使用MIXED。由於一些特殊使用,可以考慮使用ROWED,如自己透過binlog日誌來同步資料的修改,這樣會節省很多相關操作。對於binlog資料處理會變得非常輕鬆,相對mixed,解析也會很輕鬆(當然前提是增加的日誌量所帶來的IO開銷在容忍的範圍內即可)。
3.MySQL binlog格式選擇
MySQL對於日誌格式的選定原則:如果是採用INSERT,UPDATE,DELETE等直接操作表的情況,則日誌格式根據binlog_format的設定而記錄,如果是採用GRANT,REVOKE,SET PASSWORD等管理語句來做的話,那麼無論如何都採用SBR模式記錄。
三.MySQL binlog日誌分析
透過MySQL binlog指令檢視具體的mysql日誌,如下:
///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
SET TIMESTAMP=1350355892/*!*/;
BEGIN
/*!*/;
# at 1643330
#121016 10:51:32 server id 1 end_log_pos 1643885 Query thread_id=272571 exec_time=0 error_code=0
SET TIMESTAMP=1350355892/*!*/;
Insert into T_test….)
/*!*/;
# at 1643885
#121016 10:51:32 server id 1 end_log_pos 1643912 Xid = 0
COMMIT/*!*/;
///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
1.開始事物的時間:
SET TIMESTAMP=1350355892/*!*/;
BEGIN
2.sql event起點
#at 1643330 :為事件的起點,是以1643330位元組開始。
3.sqlevent 發生的時間點
#121016 10:51:32:是事件發生的時間,
4.server Id
server id 1 :為master的server Id
5.sql event終點及花費時間,錯誤碼
end_log_pos 1643885:為事件的終點,是以1643885 位元組結束。
execTime 0: 花費的時間
error_code=0:錯誤碼
Xid:事件指示提交的XA事務
Mixed日誌說明:
在slave日誌同步過程中,對於使用now這樣的時間函式,MIXED日誌格式,會在日誌中產生對應的 unix_timestamp()*1000的時間字串,slave在完成同步時,取用的是sqlEvent發生的時間來保證資料的準確性。另外對於一些功能性函式slave能完成相應的資料同步,而對於上面指定的一些類似於UDF函式,導致Slave無法知曉的情況,則會採用ROW格式儲存這些 Binlog,以保證產生的Binlog可以供Slave完成資料同步。
以上在開發透過MySQL binlog完成資料同步的模組前調研時所積累的一點資料,如有不對的地方請指正!
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/9034054/viewspace-2056421/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- MySQL binlog三種格式的優缺點和修改方法介紹MySql
- MySQL的binlog的格式及優缺點介紹MySql
- MySQL Binlog 介紹MySql
- Mysql Binlog的介紹MySql
- mysql binlog詳細介紹MySql
- MySQL Binlog 事件介紹篇MySql事件
- mysql鎖之三種行級鎖介紹MySql
- mysql的binlog格式MySql
- 【mysql】關於binlog格式MySql
- 介紹三種檢視MySQL字符集的方法MySql
- Bootstrap Blazor 元件介紹 Table (三)列資料格式功能介紹bootBlazor元件
- mysql學習之-三種安裝方式與版本介紹MySql
- Java 處理 XML 的三種主流技術及介紹JavaXML
- MarriDB/MySQL的binlog group commit技術介紹MySqlMIT
- MySQL 複製介紹及搭建MySql
- ETL常用的三種工具介紹及對比Datastage、Informatica、KettleASTORM
- [MySQL binlog]徹底解析Mixed日誌格式的binlogMySql
- mysql二進位制日誌格式介紹MySql
- MongoDB三種聚合命令用法介紹MongoDB
- MySQL資料備份多種引數介紹及簡單示例MySql
- MySQL中undo log介紹及清理MySql
- Mysql各版本介紹及下載MySql
- MongoDB安全管理的三種方式介紹MongoDB
- 四種大資料分析方法介紹!大資料
- CSS 文字格式介紹CSS
- MySQL介紹及安裝與多例項MySql
- MySQL 讀寫分離介紹及搭建MySql
- 三種解密 HTTPS 流量的方法介紹解密HTTP
- mybatis原理,配置介紹及原始碼分析MyBatis原始碼
- Jedis介紹及常見問題分析
- 前端跨域有哪些種方法及介紹?前端跨域
- mysql三種批次增加的效能分析MySql
- 解析MYSQL BINLOG二進位制格式(9)--infobin解析binlog幫助文件MySql
- MySQL中3種清除binlog的方法!MySql
- MySQL檢視版本號的五種方式介紹MySql
- MySQL線上新增欄位的幾種方案介紹MySql
- ArrayList相關方法介紹及原始碼分析原始碼
- NUMA架構介紹及優缺點分析架構