【轉】utf-8與Unicode的轉化

deepwzh發表於2017-03-25
Unicode

作者：uuspider
連結：https://www.zhihu.com/question/23374078/answer/65352538
來源：知乎
著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。

舉一個例子：It's 知乎日報

你看到的unicode字符集是這樣的編碼表：
I 0049
t 0074
' 0027
s 0073
  0020
知 77e5
乎 4e4e
日 65e5
報 62a5

每一個字元對應一個十六進位制數字。

計算機只懂二進位制，因此，嚴格按照unicode的方式(UCS-2)，應該這樣儲存：
I 00000000 01001001
t 00000000 01110100
' 00000000 00100111
s 00000000 01110011
  00000000 00100000
知 01110111 11100101
乎 01001110 01001110
日 01100101 11100101
報 01100010 10100101

這個字串總共佔用了18個位元組，但是對比中英文的二進位制碼，可以發現，英文前9位都是0！浪費啊，浪費硬碟，浪費流量。

怎麼辦？

UTF。

UTF-8是這樣做的：

1. 單位元組的字元，位元組的第一位設為0，對於英語文字，UTF-8碼只佔用一個位元組，和ASCII碼完全相同；

2. n個位元組的字元(n>1)，第一個位元組的前n位設為1，第n+1位設為0，後面位元組的前兩位都設為10，這n個位元組的其餘空位填充該字元unicode碼，高位用0補足。

這樣就形成了如下的UTF-8標記位：

0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
... ...

於是，”It's 知乎日報“就變成了：
I 01001001
t 01110100
' 00100111
s 01110011
  00100000
知 11100111 10011111 10100101
乎 11100100 10111001 10001110
日 11100110 10010111 10100101
報 11100110 10001010 10100101

和上邊的方案對比一下，英文短了，每個中文字元卻多用了一個位元組。但是整個字串只用了17個位元組，比上邊的18個短了一點點。

下邊是課後作業：

請將”It's 知乎日報“的GB2312和GBK碼(自行google)轉成二進位制。不考慮歷史因素，從技術角度解釋為什麼在unicode和UTF-8大行其道的同時，GB2312和GBK仍在廣泛使用。

劇透：一切都是為了節省你的硬碟和流量。

相關文章