【案例】利用innodb_force_recovery 解決MySQL伺服器crash無法重啟問題
一 背景
某一創業的朋友的主機因為磁碟陣列損壞機器crash,重啟MySQL服務時 報如下錯誤:
二 分析
主要關注 mysqld got signal 11 的問題,從日誌內容分析來看,資料庫在機器crash 導致日誌檔案損壞,重啟之後無法正常恢復,更無法正常對外提供服務。
三 解決
因為日誌已經損壞,這裡採用非常規手段,首先修改innodb_force_recovery引數,使mysqld跳過恢復步驟,將mysqld 啟動,將資料匯出來然後重建資料庫。
innodb_force_recovery可以設定為1-6,大的數字包含前面所有數字的影響。
1. (SRV_FORCE_IGNORE_CORRUPT):忽略檢查到的corrupt頁。
2. (SRV_FORCE_NO_BACKGROUND):阻止主執行緒的執行,如主執行緒需要執行full purge操作,會導致crash。
3. (SRV_FORCE_NO_TRX_UNDO):不執行事務回滾操作。
4. (SRV_FORCE_NO_IBUF_MERGE):不執行插入緩衝的合併操作。
5. (SRV_FORCE_NO_UNDO_LOG_SCAN):不檢視重做日誌,InnoDB儲存引擎會將未提交的事務視為已提交。
6. (SRV_FORCE_NO_LOG_REDO):不執行前滾的操作。
注意
a 當設定引數值大於0後,可以對錶進行select,create,drop操作,但insert,update或者delete這類操作是不允許的。
b 當innodb_purge_threads 和 innodb_force_recovery一起設定會出現一種loop現象:
在my.cnf中修改以下兩個引數
innodb_force_recovery=6
innodb_purge_thread=0
重啟MySQL
立即對資料庫做邏輯匯出 ,完成之後將innodb_force_recovery設定為0 ,innodb_purge_thread=1 ,然後重建資料庫 。
另外 MySQL 版本 5.5以及之前 ,當innodb_purge_threads =1,innodb_force_recovery >1 的情況會出現上文提到的迴圈報warning 問題(=1 沒有問題),
原因:
MySQL 的原始碼中顯示 當innodb_purge_threads 和 innodb_force_recovery一起設定會出現loop迴圈
所以當需要設定innodb_force_recovery>1的時候需要關閉 innodb_purge_threads,設定為0(預設)。
四 小結
MySQL crash 或者 MySQL 資料庫伺服器 crash 會導致各種各樣的問題 ,比如主備之間的error 1594 (5.6 版本開啟crash-safe ,會最大程度上避免 error 1594的問題,以後會寫5.6新特性介紹該功能 ),error 1236, 日誌損壞,資料檔案損壞 ,等等,本案例只是其中的一種,細心從日誌中找的相關錯誤提示,逐步解決即可。
某一創業的朋友的主機因為磁碟陣列損壞機器crash,重啟MySQL服務時 報如下錯誤:
-
InnoDB: Reading tablespace information from the .ibd files...
-
InnoDB: Restoring possible half-written data pages from the doublewrite
-
InnoDB: buffer...
-
InnoDB: Doing recovery: scanned up to log sequence number 9120034833
-
150125 16:12:51 InnoDB: Starting an apply batch of log records to the database...
-
InnoDB: Progress in percents: 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 150125 16:12:51 [ERROR] mysqld got signal 11 ;
-
This could be because you hit a bug. It is also possible that this binary
-
or one of the libraries it was linked against is corrupt, improperly built,
-
or misconfigured. This error can also be caused by malfunctioning hardware.
-
To report this bug, see http://kb.askmonty.org/en/reporting-bugs
-
We will try our best to scrape up some info that will hopefully help
-
diagnose the problem, but since we have already crashed,
-
something is definitely wrong and this may fail.
-
Server version: 5.5.37-MariaDB-log
-
key_buffer_size=268435456
-
read_buffer_size=1048576
-
max_used_connections=0
-
max_threads=1002
-
thread_count=0
-
It is possible that mysqld could use up to
-
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 2332093 K bytes of memory
- 41 Hope that.
主要關注 mysqld got signal 11 的問題,從日誌內容分析來看,資料庫在機器crash 導致日誌檔案損壞,重啟之後無法正常恢復,更無法正常對外提供服務。
三 解決
因為日誌已經損壞,這裡採用非常規手段,首先修改innodb_force_recovery引數,使mysqld跳過恢復步驟,將mysqld 啟動,將資料匯出來然後重建資料庫。
innodb_force_recovery可以設定為1-6,大的數字包含前面所有數字的影響。
1. (SRV_FORCE_IGNORE_CORRUPT):忽略檢查到的corrupt頁。
2. (SRV_FORCE_NO_BACKGROUND):阻止主執行緒的執行,如主執行緒需要執行full purge操作,會導致crash。
3. (SRV_FORCE_NO_TRX_UNDO):不執行事務回滾操作。
4. (SRV_FORCE_NO_IBUF_MERGE):不執行插入緩衝的合併操作。
5. (SRV_FORCE_NO_UNDO_LOG_SCAN):不檢視重做日誌,InnoDB儲存引擎會將未提交的事務視為已提交。
6. (SRV_FORCE_NO_LOG_REDO):不執行前滾的操作。
注意
a 當設定引數值大於0後,可以對錶進行select,create,drop操作,但insert,update或者delete這類操作是不允許的。
b 當innodb_purge_threads 和 innodb_force_recovery一起設定會出現一種loop現象:
-
150125 17:07:42 InnoDB: Waiting for the background threads to start
-
150125 17:07:43 InnoDB: Waiting for the background threads to start
-
150125 17:07:44 InnoDB: Waiting for the background threads to start
-
150125 17:07:45 InnoDB: Waiting for the background threads to start
-
150125 17:07:46 InnoDB: Waiting for the background threads to start
- 150125 17:07:47 InnoDB: Waiting for the background threads to start
innodb_force_recovery=6
innodb_purge_thread=0
重啟MySQL
-
150125 17:10:47 [Note] Crash recovery finished.
-
150125 17:10:47 [Note] Server socket created on IP: '0.0.0.0'.
-
150125 17:10:47 [Note] Event Scheduler: Loaded 0 events
-
150125 17:10:47 [Note] /vdata/webserver/mysql/bin/mysqld: ready for connections.
- Version: '5.5.37-MariaDB-log' socket: '/tmp/mysql.sock' port: 3306 Source distribution
另外 MySQL 版本 5.5以及之前 ,當innodb_purge_threads =1,innodb_force_recovery >1 的情況會出現上文提到的迴圈報warning 問題(=1 沒有問題),
原因:
MySQL 的原始碼中顯示 當innodb_purge_threads 和 innodb_force_recovery一起設定會出現loop迴圈
-
while (srv_shutdown_state == SRV_SHUTDOWN_NONE) {
-
if (srv_thread_has_reserved_slot(SRV_MASTER) == ULINT_UNDEFINED
-
|| (srv_n_purge_threads == 1
-
&& srv_thread_has_reserved_slot(SRV_WORKER)
-
== ULINT_UNDEFINED)) {
-
ut_print_timestamp(stderr);
- fprintf(stderr, " InnoDB: Waiting for the background threads to start\n");
-
os_thread_sleep(1000000);
-
} else {
-
break;
-
}
- }
四 小結
MySQL crash 或者 MySQL 資料庫伺服器 crash 會導致各種各樣的問題 ,比如主備之間的error 1594 (5.6 版本開啟crash-safe ,會最大程度上避免 error 1594的問題,以後會寫5.6新特性介紹該功能 ),error 1236, 日誌損壞,資料檔案損壞 ,等等,本案例只是其中的一種,細心從日誌中找的相關錯誤提示,逐步解決即可。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/22664653/viewspace-1441389/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【案例】利用innodb_force_recovery解決MySQL伺服器crash無法重啟問題MySql伺服器
- 解決ASM無法啟動問題ASM
- 伺服器增加記憶體後無法重啟資料庫的問題及解決伺服器記憶體資料庫
- 寶塔皮膚mysql無法啟動問題如何解決MySql
- 解決ORACLE無法啟動安裝的問題Oracle
- 關於listener無法啟動的問題解決
- mac下mysql無法啟動問題MacMySql
- 伺服器故障重啟可以解決大部分問題伺服器
- 解決hyper v導致docker無法啟動問題Docker
- sqlplus無法啟動的問題及解決SQL
- 掉電無法啟動資料庫問題解決資料庫
- LnixuAS3Mysql無法啟動問題S3MySql
- gmail無法訪問問題解決--FGWAI
- VMware DHCP Service服務無法啟動問題的解決
- 解決無法使用VI的問題
- SaaS無法解決“關鍵”問題
- DELL伺服器IPMI管理介面無法登入問題解決伺服器
- Oracle日常問題-資料庫無法啟動(案例二)Oracle資料庫
- linux mysql無法啟動怎麼解決?LinuxMySql
- [MySQL] “MySQL 服務無法啟動”原理及解決方法MySql
- 解決jdbc不能重連mysql的問題JDBCMySql
- 解決vscode安裝後無法啟動的問題VSCode
- 解決Linux無法開啟android模擬器問題LinuxAndroid
- 怎麼解決SOLIDWORKS文件無法正常開啟的問題!Solid
- 執行spoon.bat時Kettle無法啟動問題解決BAT
- Ubuntu 重啟無法進入圖形介面的解決辦法Ubuntu
- 幾種常見MySQL無法啟動案例MySql
- rpi-mongodb3 容器無法重啟解決方案MongoDB
- 解決split無法得到空字串問題字串
- Parallels Tools 無法安裝問題解決Parallel
- 解決Centos無法yum源的問題CentOS
- SQL SERVER 2005服務無法啟動問題的解決辦法SQLServer
- 雲伺服器解決“MySQL忘記密碼”問題的辦法伺服器MySql密碼
- 解決寶塔皮膚無法訪問的問題?
- jive中MySQL中文問題解決一法MySql
- 一則資料庫無法重啟的案例分析資料庫
- Mysql伺服器無法存emoji表情的解決方案MySql伺服器
- N1盒子掛載磁碟-解決盒子重啟後無法自動掛載問題