[golang]一個複雜的中文編碼問題

一桶冷水發表於2017-12-20
Golang

今天在網上遇到一個問題，覺得挺有意思，就幫人解答了。

需求

在編碼為Latin1的MySQL資料庫中插入中文資料，由另一個系統將Latin1編碼的字串轉碼為GBK後作為簡訊內容發出。

簡單版解答

import (
	"golang.org/x/text/encoding/charmap"
	"golang.org/x/text/encoding/simplifiedchinese"
)

func Convert(src string) (string, error) {
	gbk, err := simplifiedchinese.GBK.NewEncoder().Bytes([]byte(src))
	if err != nil {
		return "", err
	}
	latin1, err := charmap.ISO8859_1.NewDecoder().Bytes(gbk)
	if err != nil {
		return "", err
	}
	return string(latin1), nil
}
複製程式碼

解析

Latin1即ISO-8859-1，抄一段介紹 ，詳見百度百科

因為ISO-8859-1編碼範圍使用了單位元組內的所有空間，在支援ISO-8859-1的系統中傳輸和儲存其他任何編碼的位元組流都不會被拋棄。換言之，把其他任何編碼的位元組流當作ISO-8859-1編碼看待都沒有問題。這是個很重要的特性，MySQL資料庫預設編碼是Latin1就是利用了這個特性。ASCII編碼是一個7位的容器，ISO-8859-1編碼是一個8位的容器。

首先說一下處理編碼問題的原則：保證寫和讀都使用同一套規則。

依照這個原則處於中間環節的資料庫不支援中文的問題怎麼處理，要先看對方系統怎麼讀資料： 將Latin1編碼的字串轉碼為GBK後作為簡訊內容 那麼我們任務就是： 將簡訊內容以GBK編碼強制轉碼為ISO-8859-1然後存入資料庫 清楚了任務，後面就是實現了。

  1. UTF8->GBK，Golang是UTF8編碼的，那麼首先轉碼GBK。這裡需要注意的一點是不能用Encoder.String()方法，因為這樣會強制將已經編碼的GBK位元組流用Golang內建的UTF8 Decoder解碼，而這樣得到的亂碼string將無法還原回原本的GBK位元組流。

  2. GBK位元組流強制轉ISO-8859-1位元組流，怎麼做呢？就是什麼都不做。。。

  3. ISO-8859-1位元組流->UTF8 string，我不是很確定如何在SQL中提交[]byte，那麼一個保守的做法就是先將ISO-8859-1轉碼為UTF8，然後由資料庫驅動將UTF8轉回ISO-8859-1提交。

還有一點可以提一下，由於ISO-8859-1不支援中文，所以直接提交UTF8中文，資料庫驅動會直接將中文替換為？。

相關文章