MySQL 支援 emoji 圖示儲存

小弟調調發表於2016-09-08
MySql

筆記在這裡持續更新

在MySLQ中 UPDATA 和 INSERT 資料的時候，如果資料上面帶有emoji圖示，例如：?、?、? 很容易更新或者插入不成功，導致報錯。

Error: ER_TRUNCATED_WRONG_VALUE_FOR_FIELD: 
Incorrect string value: `xF0x9Fx91xBDxF0x9F...` for column `name` at row

都快崩潰了，但是還好終於解決了這種鬼問題。資料顯示原因是，MYSQL 5.5 之前， UTF8 編碼只支援1-3個位元組，只支援BMP這部分的unicode編碼區，而emoji圖示恰好是4個位元組的編碼進行儲存。從MYSQL5.5開始，可支援4個位元組UTF編碼utf8mb4，一個字元最多能有4位元組，所以能支援更多的字符集。所以要解決問題，必需把資料庫表字元編碼全部改成utf8mb4。

常用字符集

  • ASCII：美國資訊互換標準編碼；英語和其他西歐語言；單位元組編碼，7位表示一個字元，共128字元。

  • GBK：雙位元組，漢字內碼擴充套件規範；中日韓漢字、英文、數字；雙位元組編碼；共收錄了21003個漢字，GB2312的擴充套件。

  • UTF-8：Unicode標準的可變長度字元編碼；Unicode標準（統一碼），業界統一標準，包括世界上數十種文字的系統；

  • UTF-8：使用一至三個位元組為每個字元編碼。

  • utf8mb4：儲存四個位元組，應用場景用於儲存emoji表情，因為可以emoji表情四個位元組。

  • utf8mb4：MySQL版本 > 5.5.3 。

  • 其他常見字符集：UTF-32，UTF-16，Big5，latin1

  • 資料庫中的字符集包含兩層含義

    • 各種文字和符號的集合，包括各國家文字、標點符號、圖形符號、數字等。

    • 字元的編碼方式，即二進位制資料與字元的對映規則。

系統環境

  • MySQL 5.7.14

  • Mac OSX 10.11.6

首先備份

升級資料之前備份您伺服器上的所有資料，保持良好習慣，安全第一！

升級您的MySQL

新的資料庫可以在這裡下載Upgrade the MySQL server to v5.5.3+。

修改您的資料庫、表、欄位

# 對每一個資料庫:
ALTER DATABASE 這裡資料庫名字 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
# 對每一個表:
ALTER TABLE 這裡是表名字 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 對每一個欄位:
ALTER TABLE 這裡是表名字 CHANGE 欄位名字 重複欄位名字 VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 上面一句或者使用modify來更改
ALTER TABLE 這裡是表名字 modify 欄位名字 VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT ``;

utf8mb4完全向後相容utf8，無亂碼或其他資料丟失的形式出現。理論上是可以放心修改，如果您不放心修改，您可以拿備份恢復資料，然後讓程式設計師處理這種相容emoji儲存問題，存的時候過濾一遍轉成base64，然後取的時候轉回來？… 還是修改資料庫比較方便。

檢查你的欄位和索引

不要將所有的都設定成utf8mb4，這個冒得必要。我只在我某些欄位型別為VARCHAR的時候才設定成utf8mb4。

修改MySQL配置檔案

這個地方最坑，我在我Mac osx 系統上找不到/etc/my.cnf 它根本不存在，所以我們需要建立這樣一個檔案並修改它。

# 進入這個目錄，
# 在這個目錄下面有個字尾為`.cnf`的檔案
cd /usr/local/mysql/support-files/

# 將這個檔案複製到`etc`目錄中並將名字命名為`my.cnf`
sudo cp my-default.cnf /etc/my.cnf

# 然後編輯`my.cnf`檔案，將下面內容複製到裡面。
sudo vim /etc/my.cnf

MySQL configuration file (/etc/my.cnf):

[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

重啟MySQL

重啟步驟很重要，不然沒有任何效果。

  1. 啟動：/usr/local/mysql/support-files/mysql.server start

  2. 停止：/usr/local/mysql/support-files/mysql.server stop

  3. 重啟：/usr/local/mysql/support-files/mysql.server restart

系統中可以以這種形式重啟、停止或啟動

service mysqld stop
service mysqld start
service mysqld restart

檢視是否設定成功

通過下面命令查詢是否設定成功！

# 登陸MySQL進行查詢
mysql> SHOW VARIABLES WHERE Variable_name LIKE `character\_set\_%` OR Variable_name LIKE `collation%`;

# 執行上面程式碼顯示下面結果
# +--------------------------+--------------------+
# | Variable_name            | Value              |
# +--------------------------+--------------------+
# | character_set_client     | utf8mb4            |
# | character_set_connection | utf8mb4            |
# | character_set_database   | utf8mb4            |
# | character_set_filesystem | binary             |
# | character_set_results    | utf8mb4            |
# | character_set_server     | utf8mb4            |
# | character_set_system     | utf8               |
# | collation_connection     | utf8mb4_unicode_ci |
# | collation_database       | utf8mb4_unicode_ci |
# | collation_server         | utf8mb4_unicode_ci |
# +--------------------------+--------------------+

# 檢視錶的情況
mysql>  SHOW FULL COLUMNS  FROM  users_profile;

到這一步表示你成功了！恭喜你！~

修復和優化表

我跑到這一步其實沒有任何必要修復和優化表，為了保險起見，我還是執行了這兩條命令，雖然不知道它有什麼卵用，放在這裡做個筆記吧。

REPAIR TABLE 表名字;
OPTIMIZE TABLE 表名字;

參考資料

相關文章