MySQL 日誌的型別

OldBoy~發表於2017-05-17

日誌檔案對於一個伺服器來說是非常重要的,它記錄著伺服器的執行資訊,許多操作都會寫日到日誌檔案,通過日誌檔案可以監視伺服器的執行狀態及檢視伺服器的效能,還能對伺服器進行排錯與故障處理,MySQl中有六種不同型別的日誌。

日誌型別
1、錯誤日誌:記錄啟動、執行或停止時出現的問題,一般也會記錄警告資訊。
2、一般查詢日誌:記錄建立的客戶端連線和執行的語句。
3、慢查詢日誌:記錄所有執行時間超過long_query_time秒的所有查詢或不使用索引的查詢,可以幫我們定位伺服器效能問題。
4、二進位制日誌:任何引起或可能引起資料庫變化的操作,主要用於複製和即時點恢復。
5、中繼日誌:從主伺服器的二進位制日誌檔案中複製而來的事件,並儲存為的日誌檔案,與二進位制日誌幾乎相同。
6、事務日誌:記錄InnoDB等支援事務的儲存引擎執行事務時產生的日誌,隨機I/O轉換為順序I/O,一般在兩個檔案儲存,一個存滿了就換另外一個存。

預設情況下,MySQL只會啟動錯誤日誌檔案,其他日誌檔案需要手動啟動才可以被啟動。使用日誌有優點也有缺點,啟動日誌後,雖然可以實現對MySQL伺服器進行維護,但是會降低MySQL軟體的執行速度,對於繁忙的伺服器建議慎重開啟,比如查詢日誌。

進入mysql檢視一下當前mysql服務所有的日誌開啟狀態等資訊:

show global variables like '%log%';

MySQL中日誌相關常用的伺服器變數說明:
expire_logs_days={0..99}
設定二進位制日誌的過期天數,超出此天數的二進位制日誌檔案將被自動刪除。預設為0,表示不啟用過期自動刪除功能。如果啟用此功能,自動刪除工作通常發生在MySQL啟動時或FLUSH日誌時。作用範圍為全域性,可用於配置檔案,屬動態變數。
general_log={ON|OFF}
設定是否啟用查詢日誌,預設值為取決於在啟動mysqld時是否使用了–general_log選項。如若啟用此項,其輸出位置則由–log_output選項進行定義,如果log_output的值設定為NONE,即使用啟用查詢日誌,其也不會記錄任何日誌資訊。作用範圍為全域性,可用於配置檔案,屬動態變數。
general_log_file=FILE_NAME
查詢日誌的日誌檔名稱,預設為“hostname.log”。作用範圍為全域性,可用於配置檔案,屬動態變數。
binlog-format={ROW|STATEMENT|MIXED}
指定二進位制日誌的型別,預設為STATEMENT,建議更改為MIXED。如果設定了二進位制日誌的格式,卻沒有啟用二進位制日誌,則MySQL啟動時會產生警告日誌資訊並記錄於錯誤日誌中。作用範圍為全域性或會話,可用於配置檔案,且屬於動態變數。
log={YES|NO}
是否啟用記錄所有語句的日誌資訊於一般查詢日誌(general query log)中,預設通常為OFF。MySQL 5.6已經棄用此選項。
log-bin={YES|NO}
是否啟用二進位制日誌,如果為mysqld設定了–log-bin選項,則其值為ON,否則則為OFF。其僅用於顯示是否啟用了二進位制日誌,並不反應log-bin的設定值。作用範圍為全域性級別,屬非動態變數。
log_bin_trust_function_creators={TRUE|FALSE}
此引數僅在啟用二進位制日誌時有效,用於控制建立儲存函式時如果會導致不安全的事件記錄二進位制日誌條件下是否禁止建立儲存函式。預設值為0,表示除非使用者除了CREATE ROUTING或ALTER ROUTINE許可權外還有SUPER許可權,否則將禁止建立或修改儲存函式,同時,還要求在建立函式時必需為之使用DETERMINISTIC屬性,再不然就是附帶READS SQL DATA或NO SQL屬性。設定其值為1時則不啟用這些限制。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
log_error=/PATH/TO/ERROR_LOG_FILENAME
定義錯誤日誌檔案。作用範圍為全域性或會話級別,可用於配置檔案,屬非動態變數。
log_output={TABLE|FILE|NONE}
定義一般查詢日誌和慢查詢日誌的儲存方式,可以是TABLE、FILE、NONE,也可以是TABLE及FILE的組合(用逗號隔開),預設為TABLE。如果組合中出現了NONE,那麼其它設定都將失效,同時,無論是否啟用日誌功能,也不會記錄任何相關的日誌資訊。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
log_query_not_using_indexes={ON|OFF}
設定是否將沒有使用索引的查詢操作記錄到慢查詢日誌。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
log_slave_updates
用於設定複製場景中的從伺服器是否將從主伺服器收到的更新操作記錄進本機的二進位制日誌中。本引數設定的生效需要在從伺服器上啟用二進位制日誌功能。
log_slow_queries={YES|NO}
是否記錄慢查詢日誌。慢查詢是指查詢的執行時間超出long_query_time引數所設定時長的事件。MySQL 5.6將此引數修改為了slow_query_log。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
log_warnings=#
設定是否將警告資訊記錄進錯誤日誌。預設設定為1,表示啟用;可以將其設定為0以禁用;而其值為大於1的數值時表示將新發起連線時產生的“失敗的連線”和“拒絕訪問”類的錯誤資訊也記錄進錯誤日誌。
long_query_time=#
設定區別慢查詢與一般查詢的語句執行時間長度。這裡的語句執行時長為實際的執行時間,而非在CPU上的執行時長,因此,負載較重的伺服器上更容易產生慢查詢。其最小值為0,預設值為10,單位是秒鐘。它也支援毫秒級的解析度。作用範圍為全域性或會話級別,可用於配置檔案,屬動態變數。
max_binlog_cache_size{4096 .. 18446744073709547520}
二進定日誌快取空間大小,5.5.9及以後的版本僅應用於事務快取,其上限由max_binlog_stmt_cache_size決定。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
max_binlog_size={4096 .. 1073741824}
設定二進位制日誌檔案上限,單位為位元組,最小值為4K,最大值為1G,預設為1G。某事務所產生的日誌資訊只能寫入一個二進位制日誌檔案,因此,實際上的二進位制日誌檔案可能大於這個指定的上限。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
max_relay_log_size={4096..1073741824}
設定從伺服器上中繼日誌的體積上限,到達此限度時其會自動進行中繼日誌滾動。此引數值為0時,mysqld將使用max_binlog_size引數同時為二進位制日誌和中繼日誌設定日誌檔案體積上限。作用範圍為全域性級別,可用於配置檔案,屬動態變數。
innodb_log_buffer_size={262144 .. 4294967295}
設定InnoDB用於輔助完成日誌檔案寫操作的日誌緩衝區大小,單位是位元組,預設為8MB。較大的事務可以藉助於更大的日誌緩衝區來避免在事務完成之前將日誌緩衝區的資料寫入日誌檔案,以減少I/O操作進而提升系統效能。因此,在有著較大事務的應用場景中,建議為此變數設定一個更大的值。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
innodb_log_file_size={108576 .. 4294967295}
設定日誌組中每個日誌檔案的大小,單位是位元組,預設值是5MB。較為明智的取值範圍是從1MB到快取池體積的1/n,其中n表示日誌組中日誌檔案的個數。日誌檔案越大,在快取池中需要執行的檢查點刷寫操作就越少,這意味著所需的I/O操作也就越少,然而這也會導致較慢的故障恢復速度。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
innodb_log_files_in_group={2 .. 100}
設定日誌組中日誌檔案的個數。InnoDB以迴圈的方式使用這些日誌檔案。預設值為2。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
innodb_log_group_home_dir=/PATH/TO/DIR
設定InnoDB重做日誌檔案的儲存目錄。在預設使用InnoDB日誌相關的所有變數時,其預設會在資料目錄中建立兩個大小為5MB的名為ib_logfile0和ib_logfile1的日誌檔案。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
innodb_support_xa={TRUE|FLASE}
儲存引擎事務在儲存引擎內部被賦予了ACID屬性,分散式(XA)事務是一種高層次的事務,它利用“準備”然後“提交”(prepare-then-commit)兩段式的方式將ACID屬性擴充套件到儲存引擎外部,甚至是資料庫外部。然而,“準備”階段會導致額外的磁碟刷寫操作。XA需要事務協調員,它會通知所有的參與者準備提交事務(階段1)。當協調員從所有參與者那裡收到“就緒”資訊時,它會指示所有參與者進行真正的“提交”操作。
此變數正是用於定義InnoDB是否支援兩段式提交的分散式事務,預設為啟用。事實上,所有啟用了二進位制日誌的並支援多個執行緒同時向二進位制日誌寫入資料的MySQL伺服器都需要啟用分散式事務,否則,多個執行緒對二進位制日誌的寫入操作可能會以與原始次序不同的方式完成,這將會在基於二進位制日誌的恢復操作中或者是從伺服器上建立出不同原始資料的結果。因此,除了僅有一個執行緒可以改變資料以外的其它應用場景都不應該禁用此功能。而在僅有一個執行緒可以修改資料的應用中,禁用此功能是安全的並可以提升InnoDB表的效能。作用範圍為全域性和會話級別,可用於選項檔案,屬動態變數。
relay_log=file_name
設定中繼日誌的檔名稱,預設為host_name-relay-bin。也可以使用絕對路徑,以指定非資料目錄來儲存中繼日誌。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
relay_log_index=file_name
設定中繼日誌的索引檔名,預設為為資料目錄中的host_name-relay-bin.index。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
relay-log-info-file=file_name
設定中繼服務用於記錄中繼資訊的檔案,預設為資料目錄中的relay-log.info。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
relay_log_purge={ON|OFF}
設定對不再需要的中繼日誌是否自動進行清理。預設值為ON。作用範圍為全域性級別,可用於選項檔案,屬動態變數。
relay_log_space_limit=#
設定用於儲存所有中繼日誌檔案的可用空間大小。預設為0,表示不限定。最大值取決於系統平臺位數。作用範圍為全域性級別,可用於選項檔案,屬非動態變數。
slow_query_log={ON|OFF}
設定是否啟用慢查詢日誌。0或OFF表示禁用,1或ON表示啟用。日誌資訊的輸出位置取決於log_output變數的定義,如果其值為NONE,則即便slow_query_log為ON,也不會記錄任何慢查詢資訊。作用範圍為全域性級別,可用於選項檔案,屬動態變數。
slow_query_log_file=/PATH/TO/SOMEFILE
設定慢查詢日誌檔案的名稱。預設為hostname-slow.log,但可以通過–slow_query_log_file選項修改。作用範圍為全域性級別,可用於選項檔案,屬動態變數。
sql_log_bin={ON|OFF}
用於控制二進位制日誌資訊是否記錄進日誌檔案。預設為ON,表示啟用記錄功能。使用者可以在會話級別修改此變數的值,但其必須具有SUPER許可權。作用範圍為全域性和會話級別,屬動態變數。
sql_log_off={ON|OFF}
用於控制是否禁止將一般查詢日誌類資訊記錄進查詢日誌檔案。預設為OFF,表示不禁止記錄功能。使用者可以在會話級別修改此變數的值,但其必須具有SUPER許可權。作用範圍為全域性和會話級別,屬動態變數。
sync_binlog=#
設定多久同步一次二進位制日誌至磁碟檔案中,0表示不同步,任何正數值都表示對二進位制每多少次寫操作之後同步一次。當autocommit的值為1時,每條語句的執行都會引起二進位制日誌同步,否則,每個事務的提交會引起二進位制日誌同步。 建議設定為1。

查詢指定日誌資訊,統一使用show global variables like (引數名稱)

錯誤日誌(預設啟用):

伺服器啟動和關閉過程中的資訊;

伺服器執行過程中的錯誤資訊;

事件排程器執行一個事件時產生的資訊;

在複製架構中從伺服器上啟動從伺服器執行緒時產生的資訊;

引數設定:

log_error = /path/to/error_log_file # 定義錯誤日誌檔案
log_warnnings = {1|0} # 是否記錄警告資訊於錯誤日誌中

一般查詢日誌(預設關閉)

引數設定:

log={ON|OFF} # 是否記錄所有語句的日誌資訊於一般查詢日誌檔案(general_log)中;
log_output={TABLE | FILE | NONE} # 定義log儲存形式,none表示不儲存日誌;table和file可以同時出現,用逗號分隔即可;
general_log={ON|OFF} # 是否啟動查詢日誌;
general_log_file # 定義一般查詢日誌儲存的檔案;

慢查詢日誌(預設關閉)

long_query_time # 定義慢查詢的時長;
slow_query_log {ON|OFF} # 全域性引數,設定是否啟用慢查詢日誌;它的輸出位置也取決於log_output的值;
slow_query_log_file # 定義日誌檔案路徑及名稱;
log_slow_filter # 慢查詢日誌過濾型別;
log_slow_queries # 是否啟用慢查詢日誌,會話級別的;
log_rate_limit=1 # 定義其日誌記錄速率;
log_slow_verbosity # 是否記錄詳細格式的日誌資訊;

二進位制日誌

1、做時間點恢復,要想從哪個時間點恢復我們可以手動調的,所以這是一個備份恢復的重要工具;

2、mysql主從複製架構中使用;

因為我們的MySQL資料是單程式多執行緒的工作機制,所以他可以同時發起很多們修改的語句,但是我們伺服器使用的日誌只有一個,那如果同時進行的多個執行緒 的請求都同時往日誌檔案中寫資料,日誌檔案就成了資源熱點,也叫資源徵用點,那就會混亂不堪,為了解決這種問題,這裡,當我們的執行緒要往二進位制日誌檔案中 寫資料的時候,它不是直接寫到日誌檔案中去,還是統一寫到日誌緩衝區中,由日誌緩衝區逐一寫入日誌檔案中去,然而我們的日誌檔案對於一個很繁忙的伺服器來 講,每天都會產生很大的資料量,如果所有的二進位制日誌資料都寫在一個日誌檔案中,那管理起來就特點的不方便了,也很不合理,如是日誌檔案丟失,那所有的日 志資料資訊都丟失了,不應該這麼做,那我們就有日誌滾動的機制了,二進位制日誌我們可以自己定義,有兩種定義日誌滾致力的方法,一種是按大小來定義的,比如 說我們定義一個日誌檔案的大小為1G,那他儲存一了大概1G左右就會滾動,使用下一個日誌來存放二進位制日誌資料;另一種可以按時間來定義的,比如說一週滾 動一次,或者說一個月,一天滾動一次都可以;或者每次重啟服務時或者執行FLUSH LOGS命令時都會滾動一次日誌。

SHOW BINARY LOGS;檢視當前系統上所有的的二進位制日誌檔案,其實就是資料目錄下mysql-bin.index檔案中的資訊,這個檔案就是儲存已經滾動過的日誌檔案的條目

SHOW MASTER STATUS;可以檢視當前伺服器正在使用的二進位制日誌檔案以及下一下個事件開始時基於的位置Position,如果當前使用的是00004,那麼00001、2、3將不會再被使用,因為已經被滾動過去了。

PURGE;   清除日誌檔案的命令,不建議rf 命令
show binlog events in 'mysql-bin.000001';   #檢視二進位制檔案中記錄的內容

show binlog events in 'mysql-bin.000001' from 106;   #也可以從某個位置檢視二進位制檔案
purge binary logs to 'mysql-bin.000001';  #刪除某個序號之前的日誌檔案

 二進位制日誌格式:

statement:基於語句

缺陷:執行帶時間函式的語句時,會導致主從伺服器執行結果不一致;

如 insert into tb1 value (current_date());

row:基於行

缺陷:批量更新操作將導致從伺服器進行更多的操作 update tb2 set salary=salary+1000;

mixed:混合模式,由MySQL自行判斷選擇適合的方式基於語句或基於行記錄日誌;

設定引數:

og_bin = {ON|OFF|FileName} # 全域性變數,控制二進位制檔案位置
log_bin_trust_function_creators # 全域性變數,僅在啟用二進位制日誌時有效,用於控制建立儲存函式時如果會導致不安全的事件是否禁止建立儲存函式
sql_log_bin = {ON|OFF} # 會話級別,用於控制二進位制日誌資訊是否記錄進日誌檔案
sync_binlog # 設定多久同步一次二進位制日誌至磁碟檔案中,0表示不同步,任何正數值都表示對二進位制每多少次寫操作之後同步一次;
binlog_format={statement|row|mixed} # 指定二進位制日誌的型別
max_binlog_cache_size= # 二進位制日誌緩衝空間大小,僅用於緩衝事務類的語句, 其上限由max_binlog_stmt_cache_size決定
max_binlog_size= # 二進位制日誌檔案大小上限,單位位元組,預設大小1G
注:切勿將二進位制日誌與資料檔案放在同一磁碟上,減少磁碟I/O,另外在磁碟損壞的情況下可以保證日誌不丟失,恢復資料。

中繼日誌

它其實跟複製相關的,與二進位制日誌幾乎相同,只不過它不是用於記錄事件的,而是作為讀取資料的源並且在本地執行的,當然中繼日誌是在從伺服器上。

SHOW GLOBAL VARIABLES LIKE '%relay%';檢視中繼日誌的相關引數資訊

relay_log=file_name # 設定中繼日誌的檔名稱
relay_log_index=file_name # 設定中繼日誌的索引檔名,預設為為資料目錄中的host_name-relay-bin.index
relay_log_purge={ON|OFF} # 是否自動清理不再需要的中繼日誌
relay_log_space_limit= # 設定用於儲存所有中繼日誌檔案的可用空間大小,0表示不限制
relay_log_recovery:跟中繼日誌自動恢復相關的
relay_log={空}:是否啟用中繼日誌的

事務日誌(預設開啟)

show global variables like 'innodb_flush_log_at_trx_commit';

事務日誌

暫存事務提交的資料,實現將隨機I/O轉換成順序I/O;

事務資料提交流程:innodb_buffer-->事務日誌-->資料檔案;

事務日誌檔案組,至少應該有2個日誌檔案,一般儲存在資料目錄下,為ib_logfile0和ib_logfile1;

注意事項

儘可能使用小事務以提升事務引擎的效能;因為事務越大,回滾開銷越大;

崩潰恢復:將提交的事務從事務日誌中同步至資料檔案,將未提交的事務執行回滾操作,以保證資料一致性;

避免磁碟故障導致事務檔案丟失:對事務日誌所在的磁碟做資料映象;

事務日誌檔案和資料檔案應分離存放:防止對同一磁碟過於頻繁的I/O操作;

相關文章