c++中utf8字串和gbk字串的轉換

charlee44發表於2024-09-16
C++字串

這個功能C++語言本身似乎沒有標準實現，需要藉助於第三方庫或者作業系統API。不得不吐槽一下這麼重要的功能居然還沒有辦法依賴C++語言本身來實現，C++標準委員會真是不幹人事啊。那就不廢話了，直接給出windows下的實現。

std::string Utf8ToGbk(const std::string& utf8Str) {
  // Step 1: Convert UTF-8 to Wide Char (UTF-16)
  int wideCharLen =
      MultiByteToWideChar(CP_UTF8, 0, utf8Str.c_str(), -1, nullptr, 0);
  if (wideCharLen == 0) {
    throw std::runtime_error("Failed to convert from UTF-8 to wide char.");
  }

  std::wstring wideStr(wideCharLen, 0);
  MultiByteToWideChar(CP_UTF8, 0, utf8Str.c_str(), -1, &wideStr[0],
                      wideCharLen);

  // Step 2: Convert Wide Char (UTF-16) to GBK
  int gbkLen = WideCharToMultiByte(CP_ACP, 0, wideStr.c_str(), -1, nullptr, 0,
                                   nullptr, nullptr);
  if (gbkLen == 0) {
    throw std::runtime_error("Failed to convert from wide char to GBK.");
  }

  std::string gbkStr(gbkLen, 0);
  WideCharToMultiByte(CP_ACP, 0, wideStr.c_str(), -1, &gbkStr[0], gbkLen,
                      nullptr, nullptr);

  // Remove the null terminator added by the conversion functions
  gbkStr.pop_back();

  return gbkStr;
}

std::string GbkToUtf8(const std::string& gbkStr) {
  // Step 1: Convert GBK to Wide Char (UTF-16)
  int wideCharLen =
      MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), -1, nullptr, 0);
  if (wideCharLen == 0) {
    throw std::runtime_error("Failed to convert from GBK to wide char.");
  }

  std::wstring wideStr(wideCharLen, 0);
  MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), -1, &wideStr[0], wideCharLen);

  // Step 2: Convert Wide Char (UTF-16) to UTF-8
  int utf8Len = WideCharToMultiByte(CP_UTF8, 0, wideStr.c_str(), -1, nullptr, 0,
                                    nullptr, nullptr);
  if (utf8Len == 0) {
    throw std::runtime_error("Failed to convert from wide char to UTF-8.");
  }

  std::string utf8Str(utf8Len, 0);
  WideCharToMultiByte(CP_UTF8, 0, wideStr.c_str(), -1, &utf8Str[0], utf8Len,
                      nullptr, nullptr);

  // Remove the null terminator added by the conversion functions
  utf8Str.pop_back();

  return utf8Str;
}

這段程式碼的原理很簡單：

  1. CP_ACP的意思就是本地編碼，就是作業系統系統定義的預設編碼，依賴於當前作業系統的語言和地區設定。在中文環境下就是GBk系列的中文編碼，例如GB2312、GBK或GB18030。
  2. 需要使用寬位元組字串來進行中轉，在Windows下，std::wstring是16位元組字串，使用UTF-16編碼。這一點有點類似於C#的string和Java的string，都是UTF-16編碼。
  3. MultiByteToWideChar和WideCharToMultiByte都是作業系統的C介面，輸入和返回的字串都帶'\0'，因此轉到c++的string需要去掉最後的'\0'字元。這一點需要注意。

測試了用例沒有問題。測試Utf8ToGbk：

  // string utfStr = u8"這是一個測試的中文字串，檢查一下";
  // string utfStr = u8"測試";
  string utfStr = u8"abcdefg";

  string gbkStr = Utf8ToGbk(utfStr);

  // cout << gbkStr << "-------" << endl;
  // cout << gbkStr.length() << endl;
  // cout << gbkStr.c_str() << endl;
  // cout << strlen(gbkStr.c_str()) << endl;

測試GbkToUtf8：

#ifdef _WIN32
  SetConsoleOutputCP(65001);
#endif

  // string gbkStr = "測試";
  string gbkStr = "這是一個測試的中文字串，檢查一下";
  // string gbkStr = "abcdefg";
  cout << gbkStr.length() << endl;

  string utfStr = GbkToUtf8(gbkStr);

  cout << utfStr << endl;
  cout << utfStr.length() << endl;

以上是Windows的實現，Linux環境要使用別的辦法，例如使用iconv庫。

相關文章