技術分享 | 如何優雅地在 Windows 上從 MySQL 5.6 升級到 5.7

愛可生雲資料庫發表於2020-07-15
作者:趙黎明
愛可生 MySQL DBA 團隊成員,Oracle 10g OCM,MySQL 5.7 OCP,擅長資料庫效能問題診斷、事務與鎖問題的分析等,負責處理客戶 MySQL 及我司自研 DMP 平臺日常運維中的問題,對開源資料庫相關技術非常感興趣。
本文來源:原創投稿
*愛可生開源社群出品,原創內容未經授權不得隨意使用,轉載請聯絡小編並註明來源。

本文關鍵字:升級、Windows、賬號管理

背景

最近有去某客戶那裡支援 MySQL 例項升級,他們的例項版本比較多,有 5.5、5.6、5.7,外加各種小版本,平臺也很多,有 Linux、Windows。對於 Unix/Linux 平臺的 MySQL 版本升級,大家可能再熟悉不過了,但對於 windows 平臺的,可能接觸地較少。由於專案上有需求,自己也在 Windows 環境上測試了一把,有了些心得,想跟大家分享一些經驗,於是有了本文。這裡主要是針對比較常見的 5.6 到 5.7 的升級。

限制

  • MySQL 官方提供了 2 種介質的升級方式:一種是 MySQL Installer 的方式(需要下載 MSI 可執行程式,進行圖形化安裝),另一種則是 noinstall zip 包的方式(就是我們熟悉的綠色軟體,解壓即用的那種,當然 MySQL 作為資料庫軟體,也沒傻瓜到那種程度,還是需要一些額外操作的),推薦使用第 2 種方式,系統侵入性小,方便快捷。
  • 連續大版本的升級(5.6 to 5.7)不能用 MySQL Installer,這種場景只支援 zip 方式。
  • 社群版和企業版之間,也不能用 MySQL Installer 升級,需要用 zip 方式。
  • 除了介質,升級的方法也有 2 種:一種是 IN-PLACE 方式(適用於資料量較大、小版本或連續版本的升級),另一種是邏輯方式(適用於資料量小、跨越大版本的升級)。
  • 對於大資料庫,即便是採用 IN-PLACE 方式升級,也可能會花費較長時間,因為執行 mysql_upgrade 時,預設也會對業務表進行資料轉換和修復(這個問題在客戶那兒也遇到了,300G 左右的庫,有大量 MyISAM 表,最大的單表有 40G。修復過程其實是通過建立臨時表進行重建,而他們的磁碟效能又不好,跑了很久都沒有結束,後來通過 -s 引數跳過對業務表的修復)。
  • 如果是 Milestone 版和 GA 版之間的升級,也只能通過邏輯方式進行。

環境準備

雖然是在講升級,這裡也稍微提一下 Windows 上安裝例項的方法。首先,準備一臺 Windows 主機(我這裡用的是 Windows 10),去官網下載好 5.6.x,5.7.x for Windows 的 zip 包,我選擇了社群版的 5.6.30 和 5.7.30(最新 GA)的包。 
解壓完的 zip包 是這樣的,有點像 Linux 上的二進位制包:
1.png
2.png

安裝 5.6 環境

安裝很簡單,最小化配置只需要把 my-default 引數中示例的幾個引數前的註釋符號去掉,並配置上相應的值,就可以啟動了,當然,如果是生產環境,肯定會自定義一堆引數,此處略過。 

3.png

改完後如下,然後就可以用這個引數檔案去初始化例項了: 

4.png

初始化例項後,再啟動例項,接著建立並配置 Windows 服務,以後就可以通過啟停服務對 MySQL 例項進行管理。升級 5.6 至 5.7這裡不討論詳細的升級步驟,與安裝例項其實差不多,主要說一下升級時要注意的點(本次測試採用 IN-PLACE 方式)。

  • 首次安裝完 5.7(zip 方式)後,出於安全性考慮,需要設定 skip-grant-tables 進入例項,修改 root 密碼,刪除空賬號(先執行 flush privileges;)。
  • 服務的建立、刪除都要用管理員身份執行 cmd 後再執行執行,示例:mysqld install mysql5630 / mysqld remove mysql5630。
  • 如果啟動例項是用 mysqld --console 執行的,會在螢幕輸出例項啟動的一些 error 日誌,一旦退出這個視窗,例項就會終止(因此,建議僅在首次測試例項能否正常啟動時使用)。
  • 5.7 的 zip 包解壓後沒有 data 目錄和 my.ini 配置檔案,可以將 5.6 中的 data 目錄和 my.ini 拷貝過來(拷 data 前要停例項),如果本來就已經指定在 basedir 之外的地方,也可以直接用,然後修改 5.7 配置檔案的 datadir 與原來 5.6 的位置一致。
  • 如果 5.6 是 zip 安裝,5.7 也是 zip 安裝,並且 5.7 解壓到 5.6 的目錄之外,建議修改環境變數後先執行 mysql -V,檢查其是否被正確地配置了(官方推薦解壓到同一個目錄中,這樣可以不用修改環境變數)。
  • 儘量不要使用舊版的 my.cnf,並且用 mysqld --print-defaults 檢查預設引數。
  • 升級到 5.7 後,當執行 mysqld install mysql5730 時(新增 5.7 例項的服務),如果報找不到 dll 動態庫連結檔案 MSVCR120.dll、MSVCP120.dll,則需要下載並安裝相應版本的的 Visual C++ 程式)。 
參考連結:
https://www.groovypost.com/ho...
https://answers.microsoft.com...

各個 dll 檔案對應的 Visual C++ 版本: 

5.png

安裝完以後,可以檢視 dll 動態庫連結檔案與對應 Visual C++ 版本之間的關係: 

6.png

我的環境中要正常執行 5.7.30 例項,需要安裝 Visual C++ 2012、Visual C++ 2013,之後就可以正常建立服務。

升級排錯案例

安裝完 5.7.30 例項後,建立並啟動 windows 服務: 

7.png

通過 SC 啟動服務後卻立即停止了:

8.png

用 NET 命令也無法啟動,error 日誌也沒有輸出:

9.png

嘗試刪除服務再重新新增:

10.png

此時服務還沒有被建立:

11.png

通過 SC 再次啟動後,服務有了,但仍然是已停止狀態:

12.png

再次刪除服務後直接啟動 mysqld,在登入客戶端後發現了端倪,原來是用 5.6.30 的 mysqld 命令啟動了:

13.png

立即檢查 my.ini 引數,發現引數中果然是用了 5.6.30 的路徑:

14.png

停止程式,修改引數並重新啟動 5.7.30 程式和服務:

15.png

msyql5730 服務恢復正常,不會再自動停止了:

16.png

服務端(mysqld)和客戶端(mysql)程式也執行正常:

17.png

檢查資料庫(注意,此時仍然是沒有 sys 庫的,因為是把 5.6 的 data 目錄直接拿來啟動例項的):

18.png

執行 mysql_upgrade,重建系統庫:

19.png

至此,完成 5.6.30 to 5.7.30 的升級(是不是 so easy?)。 

20.png

要注意,執行完 mysql_upgrade 後需要重啟例項,否則會報以下錯誤:

21.png

重啟例項後,可以正常使用了:

22.png

一個有趣的登陸測試

  • 配置了 3 個 root 賬號,來源分別為 ::1,127.0.0.1',localhost。
  • 在賬號密碼都不輸入的情況下,Windows 預設會用 ODBC@localhost 這個使用者連線。
  • 在加上 -uroot 後,會優先使用 root@'::1' 這個賬號來連線,使用者仍然使用的是 root@localhost。
  • 把 root@'::1' 賬號刪除後,會使用 root@localhost 的賬號連線。
  • 把 root@localhost 賬號也刪除後,預設不會使用 root@127.0.0.1 的賬號連線,除非指定了 -h127.0.0.1。
  • 在 Windows 中,無論是 ::1、localhost 還是 127.0.0.1,哪怕是使用 -S 進行連線,也都是 TCP/IP 連線。
mysql> select user,host from mysql.user;
+---------------+-------------+
| user | host |
+---------------+-------------+
| root | 10.186.64.% |
| root | 127.0.0.1 |
| root | ::1 |
| mysql.session | localhost |
| mysql.sys | localhost |
| root | localhost |
+---------------+-------------+
6 rows in set (0.00 sec)

mysql> exit
Bye
C:\Users\Administrator>mysql
ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO)

C:\Users\Administrator>mysql -uroot
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

C:\Users\Administrator>mysql -uroot -p
Enter password: ********
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 7
Server version: 5.7.30-log MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select current_user(),user();
+----------------+----------------+
| current_user() | user() |
+----------------+----------------+
| root@::1 | root@localhost |
+----------------+----------------+
1 row in set (0.00 sec)

mysql> drop user root@'::1';
Query OK, 0 rows affected (0.06 sec)

mysql> exit
Bye
C:\Users\Administrator>mysql -uroot -p
Enter password: ********
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 5.7.30-log MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select current_user(),user();
+----------------+----------------+
| current_user() | user() |
+----------------+----------------+
| root@localhost | root@localhost |
+----------------+----------------+
1 row in set (0.02 sec)

mysql> drop user root@localhost;
Query OK, 0 rows affected (0.03 sec)

mysql> exit
Bye
C:\Users\Administrator>mysql -uroot -p
Enter password: ********
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)

C:\Users\Administrator>mysql -uroot -p -h127.0.0.1
Enter password: ********
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 10
Server version: 5.7.30-log MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select current_user(),user();
+----------------+----------------+
| current_user() | user() |
+----------------+----------------+
| root@127.0.0.1 | root@localhost |
+----------------+----------------+
1 row in set (0.00 sec)

mysql> \s
--------------
mysql Ver 14.14 Distrib 5.7.30, for Win64 (x86_64)

Connection id: 10
Current database:
Current user: root@localhost
SSL: Cipher in use is ECDHE-RSA-AES128-GCM-SHA256
Using delimiter: ;
Server version: 5.7.30-log MySQL Community Server (GPL)
Protocol version: 10
Connection: 127.0.0.1 via TCP/IP
Server characterset: latin1
Db characterset: latin1
Client characterset: gbk
Conn. characterset: gbk
TCP port: 3306
Uptime: 6 hours 41 min 40 sec

Threads: 1 Questions: 26 Slow queries: 0 Opens: 123 Flush tables: 1 Open tables: 116 Queries per second avg: 0.001
--------------

mysql> show variables like 'socket';
+-----------------------------------------+-------+
| Variable_name | Value |
+-----------------------------------------+-------+
| socket | MySQL |
+-----------------------------------------+-------+
3 rows in set, 1 warning (0.01 sec)

mysql> exit
Bye
C:\Users\Administrator>mysql -uroot -p -S MySQL

Enter password: ********
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 16
Server version: 5.7.30-log MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> \s
--------------
mysql Ver 14.14 Distrib 5.7.30, for Win64 (x86_64)

Connection id: 16
Current database:
Current user: root@localhost
SSL: Cipher in use is ECDHE-RSA-AES128-GCM-SHA256
Using delimiter: ;
Server version: 5.7.30-log MySQL Community Server (GPL)
Protocol version: 10
Connection: localhost via TCP/IP
Server characterset: latin1
Db characterset: latin1
Client characterset: gbk
Conn. characterset: gbk
TCP port: 3306
Uptime: 7 hours 6 min 23 sec

Threads: 1 Questions: 63 Slow queries: 0 Opens: 137 Flush tables: 1 Open tables: 130 Queries per second avg: 0.002
--------------

升級步驟彙總

最後,再把升級的各個步驟羅列一遍:
1. 下載 5.7.30 的 zip 包並解壓到新的目錄。
2. 安裝 Visual C++ 2012/2013(或更多版本)。
3. 停應用,停止 5.6 例項(可以通過停服務來操作,停止服務前建議記錄一下 GTID 或 binlog file 和 position 位置),刪除服務。
4. 備份一份 5.6 例項的 datadir,包括 binlog(整個目錄 copy 到別的目錄存放)。
5. 拷貝 5.6 例項的 datadir 和 my.ini 到 5.7 例項 basedir 目錄,調整並優化引數值(注意要確保路徑一致,確認已開啟 5.7 新特性相關引數,如增強半同步、MTS 等)。
6. 修改系統環境變數,把可執行路徑指向 5.7 例項的 basedir/bin。
7. 啟動 5.7 例項,建立服務並啟動。
8. 驗證服務端、客戶端版本是否正確。
9. 確認無誤後,執行 mysql_upgrade 升級資料字典(會升級系統庫:mysql,ps,sys,沒有會重建)。
10. 重啟例項。
11. 再次校驗 5.7 的引數,儘量保持與 5.6 的相容,尤其要注意 sql_mode 的預設值對業務的影響。
12. 清理 5.6 例項的 basedir 和 datadir 目錄(可選)。
13. 如果是主從環境,還要考慮 slave_net_timeout 引數預設值改變帶來的影響(主庫 error 日誌中出現 “ER_RPL_ZOMBIE_ENCOUNTERED” 的報錯)。在 5.7.7 以前,該引數預設是 3600s,之後改為了 60s,需要重新執行 change master to 語句,並且顯式指定 master_heartbeat_period=xx,因為從 5.7.4 開始,只有執行 reset slave 才能將其重置為預設值(slave_net_timeout 值的一半)。另外提一句,也是從 5.7.4 開始,執行 change master to 語句時,可以不用先停止複製執行緒了。 

參考連結:
https://dev.mysql.com/doc/ref...
https://dev.mysql.com/doc/ref...
https://dev.mysql.com/doc/ref...

總結

本文主要闡述瞭如何優雅地通過 ZIP&IN-PLACE 方式在 Windows 伺服器上將 MySQL 5.6 例項升級到 5.7。對 MySQL 官方提供的一些升級方式和相關限制做了說明。通過一個實際的升級案例來展示如何在升級過程中排查錯誤。演示了一個關於賬號登陸的小測試,要注意區分賬號的來源部分、current_user(),user() 之間的差別,前者是 mysql.user 表中建立的賬號,後者是當前作業系統的登入使用者。最後對整個升級步驟做了總結,羅列了一些升級時的注意點。

參考連結: 
https://dev.mysql.com/doc/ref...
https://dev.mysql.com/doc/ref...

相關文章