漫畫:什麼是字符集和編碼?ASCII、UTF-8、UTF-16、UTF-32 又是什麼?

CSDN資訊發表於2019-01-04

640?wx_fmt=gif

640?wx_fmt=jpeg

640?wx_fmt=jpeg

當天下午

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

————————

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

在計算機底層,比如說你的名字“小萌”在計算機中並不是文字的形式,而是一串二進位制數字,如“011001100110…”

人類只認識文字,可惜計算機只認 0 和 1,雙方都不能妥協,那就必須要有一個從文字到 0、1 的對映了。

從我們可以看到的文字到 0、1 的對映稱為編碼,反過來從 0、1 到文字叫解碼。這個就是編碼的含義。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

因為計算機只能處理數字,如果要處理文字,就必須先把文字轉換為數字才能處理。最早的計算機在設計時採用 8 個位元(bit)作為一個位元組(byte),所以,一個位元組能表示的最大的整數就是 255(二進位制11111111=十進位制 255),0 - 255 被用來表示大小寫英文字母、數字和一些符號,這個編碼表被稱為 ASCII 編碼,比如大寫字母 A 的編碼是 65,小寫字母 z 的編碼是 122。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

Unicode 編碼定義了這個世界上幾乎所有字元(就是你眼睛看的字元,比如ABC、漢字等)的數字表示,而且 Unicode 還相容了很多老版本的編碼規範,例如剛剛講過的 ASCII 碼。

我們國家的每一個人都對應唯一的一個身份證號,而 Unicode 也為每個字元發了一張身份證,這張“身份證”上有一串唯一的數字 ID 確定了這個字元。

這串數字在整個計算機的世界具有唯一性,Unicode 給這串數字 ID 起了個名字叫[碼點]。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

這個“Unicode 轉換格式”是為了解決“碼點”在計算機儲存方式而設計的。

碼點”經過對映後得到的二進位制串的轉換格式單位稱之為“碼元”(Code Unit)。碼點就是一串二進位制數,碼元就是切分這個二進位制數的方法。

舉個例子,如果有一個字元的碼點二進位制表示有 n 位元組(n*8 個二進位制數),其碼元為 8 位(1 個位元組),那麼其擁有碼元 n 個。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

Unicode 編碼發展到今天擴充套件到了 21 位,為啥擴充套件到 21 位了呢?因為一開始老美只考慮自己那 26 個英文字母和數字,隨著越來越多的國家的語言語言編碼,Unicode 不得繼續擴充套件,目前 21 位已經足夠使用。

UTF-32 是最好理解的一個了。UTF-32 也就是說它的碼元是 32 位,每 32 位去讀一下碼點,而碼點是 Unicode 給字元的編碼,前面也說了,最長才 21 位,因此每一個 UTF-32 值都可以直接表示對應的碼點。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

什麼是編碼空間呢?前面說了 Unicode ,它是 21 位的。這 21 位提供了 1,114,112 個碼點,編碼空間就是對應這 1,114,112 個碼點。

對了這裡要說一下,這麼多碼點並不代表有這麼多字元,目前大概只有 10% 的空間被使用了,人類社會還沒創造出 1,114,112 這麼多的字元。

編碼空間被分成 17 個平面(plane),每個平面有 65,536 個字元(正好填充 2 個位元組,16 位)。0 號平面叫做“基本多文種平面”(BMP, Basic Multilingual Plane),涵蓋了幾乎所有你能遇到的字元,除了 emoji(emoji 位於 1 號平面 - -)。其它平面叫做補充平面,大多是空的。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

UTF-16 要常見得多,它的碼元是 16 位的,也就是說每 16 位去讀一下碼點,獲取碼點的前 16 位數字,直到讀取完成。

編碼空間這裡要用上了哈,BMP 平面(也就是前面說的基本多文種平面)中的每一個碼點都直接與一個 UTF-16 的碼元一一對映。

由於 BMP 幾乎包括了所有常見字元,UTF-16 一般需要 UTF-32 大約一半的空間。至於其它平面裡很少使用的碼點都是用兩個 16 位的碼元來編碼的。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

UTF-8 使用一到四個位元組來編碼一個碼點。從 0 到 127 的這些碼點直接對映成 1 個位元組(對於只包含這個範圍字元的文字來說,這一點使得 UTF-8 和 ASCII 完全相同)。接下來的 1,920 個碼點對映成 2 個位元組,在 BMP 裡所有剩下的碼點需要 3 個位元組。Unicode 的其他平面裡的碼點則需要 4 個位元組。UTF-8 是基於 8 位的碼元的,因此它並不需要關心位元組順序(因為位元組就是 8 位的呀,其它 UTF-16 和 UTF-32 在不同的機器編譯環境下需要考慮位元組的順序問題)。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

作者:喬戈裡,哈工大計算機本碩,百度工程師,做公眾號就是想和大家交個朋友。

免責宣告:本文為作者投稿,內容版權歸作者所有,文中所使用卡通形象來源於網路,CSDN 釋出此文出於傳遞更多資訊之目的,CSDN 不因此向使用者承擔任何責任。



 熱 文 推 薦 


 Android 要收費?周鴻禕:這是遲早的事!

☞ 程式設計師版“吐槽大會”: 國產綜藝節目年終盤點

☞ AI 外掛!百度 Lens 是如何突破人眼視覺極限的?

☞ 比特幣拒絕第340次“被死亡”

☞ 有問有答 | 分散式服務框架精華問答

程式設計師有話說 | 大專生畢業 6 年月薪 3W+:不從眾也不普通

☞ 網友們票選的2018 Best Paper,你pick誰?

☞ 老程式設計師肺腑忠告:千萬別一輩子靠技術生存!

print_r('點個好看吧!');
var_dump('點個好看吧!');
NSLog(@"點個好看吧!");
System.out.println("點個好看吧!");
console.log("點個好看吧!");
print("點個好看吧!");
printf("點個好看吧!\n");
cout << "點個好看吧!" << endl;
Console.WriteLine("點個好看吧!");
fmt.Println("點個好看吧!");
Response.Write("點個好看吧!");
alert("點個好看吧!")
echo "點個好看吧!"


640?wx_fmt=gif點選“閱讀原文”,開啟 CSDN App 閱讀更貼心!

640?wx_fmt=png喜歡就點選“好看”吧!

相關文章