聊一聊編碼與亂碼的區別

飢人谷前端發表於2017-12-25

本文為飢人谷講師若愚原創文章,首發於 前端學習指南

在瀏覽器上檢視網頁,偶爾會看到一些網站出現亂碼的情況。這裡用通俗易懂的語言聊一聊編碼的那些事

認識幾種編碼方式

ASCII

計算機發明之後需要使用0和1來表示字元,於是美國人在50年代發明了 ASCII (美國標準資訊交換程式碼,American Standard Code for Information Interchange) 碼。它由128個字元組成,包括大小寫字母、數字0-9、標點符號、非列印字元(換行符、製表符等4個)以及控制字元(退格、響鈴等)組成,每個字元佔7位(1位元組是8位)。比如 'a'的 ASCII碼10進位制是97,二進位制是 01100001。

ISOLatin-1

可以認為ASCII是美國發明針對英語設計的,但歐洲人在用的時候出現了問題。對於一些特殊的拉丁字元,比如法文德文裡某些字元,ASCII字符集就不包括。於是歐洲人發明了一種8位字符集是ISO 8859-1Latin 1,也簡稱為ISOLatin-1。它對ASCII做了個擴充,對於0-127之間的字元還使用ASCII裡的字元不變, 把位於128-255之間的字元表示拉丁字母表中特殊語言字元。

UNICODE

後來計算機不斷髮展擴充套件到亞洲非洲,如何用計算機使用的二進位制表示這些語言又成了問題。ISOLatin-1的8位字符集只能表示256個字元,而僅漢語就有80000以上個字元。如何把地球上絕大多數語言用一種編碼方式表示出來呢? 於是發明了UNICODE編碼,只用2個位元組(16位)就可以編碼地球上幾乎所有地區的文字。

但是,UNICODE只是理論上的編碼方式,相當於給世界上每個文字打了個編號,但這編號具體如何在計算機裡面儲存,可以有多種實現方式。比如utf-8和gbk。

前面說了UNICODE只是給每個文字打了個編號,為啥不把這個編號直接轉化成二進位制儲存在計算機裡面呢? 比如英文字母s的編號是115, 用二進位制表示是00000000 1110011, 中文的編號是26085 (16進位制是65e5) ,二進位制是11001011 1100101。老外才沒那麼傻,對於老外這種日常純粹是用英文字元的人來說明明之前1個位元組就能儲存一個字母,現在為了全球大一統非要儲存為2個位元組,相當於一個之前一個1M的文件,現在變為2M。於是老外耍了賴,英文字母s115沒錯,但我就用1個位元組1110011表示,而你中文26085號也沒錯,但是你不能在使用2個表示,而是用2個甚至6個位元組表示。(為了英文的特權,犧牲其他語言的儲存空間的便利),這個編碼方式就是UTF-8。

UTF-8

UTF-8(8-bit Unicode Transformation Format)是一種針對Unicode的可變長度字元編碼,又稱萬國碼。UTF-8用1到6個位元組編碼UNICODE字元。用在網頁上可以同一頁面顯示中文簡體繁體及其它語言(如英文,日文,韓文)。

那GBK又是如何產生的呢?

GBK

這時候中國人不幹了,為啥你制定了全球大一統的規則,卻為了自己的便利又破壞規則,連這點小便宜都不放過(典型的美國人作風)? 明明用2個位元組就能表示中文一個漢字,現在UTF-8編碼中文竟然需要2個甚至4個位元組來表示。於是中國製定一套自己的規則,於是用2個位元組來表示一個漢字,總共可以覆蓋2萬多個文字。 對於英文,好吧讓一步,還保留和你UTF-8同樣的方式使用一個位元組來表示。

下圖是把當前文章分別儲存為 gbk 何 utf-8兩種編碼格式下檔案大小的對比,表明用 gbk 確實省空間

聊一聊編碼與亂碼的區別

記住:UNICODE只是給字元一個代號,而GBK和UTF-8使用不同的規則來表示同一個代號。

網頁亂碼如何產生的呢?

下面這個流程是我們寫入檔案到展示檔案的簡單描述:

  1. 我們使用編輯器編寫 HTML 檔案
  2. 儲存編寫的HTML檔案
  3. 使用瀏覽器開啟HTML檔案
  4. HTML檔案在瀏覽器展示 亂碼產生的根源就在與第2步驟和第4步。

在第2步保持檔案時會把我們寫入的文字使用編輯器預設的編碼方式進行儲存。如果大家使用的是vscode編輯器,預設的編碼方式是utf-8。

聊一聊編碼與亂碼的區別

在第4步瀏覽器開啟網頁時,它並不知道你的這個檔案是使用什麼編碼方式,於是自作主張使用了預設解碼方式。如下圖所示,檔案儲存為GBK格式,在Chrome開啟時預設使用 ISO -8859的解碼方式,導致編碼和解碼不匹配,產生亂碼。

聊一聊編碼與亂碼的區別

那如何規避這個問題呢?即如何通知瀏覽器用什麼方式解碼呢? 首頁,在檔案儲存的時候你自己要清楚是用哪種編碼方式儲存的。如果你的檔案是儲存為utf-8格式,那麼一定要在html 的 <head>裡新增<meta charset="utf-8">,這句話的意思是告訴瀏覽器在開啟這個頁面的時候不要去猜了,直接用utf-8去解碼。 同理,如果你的檔案儲存為gbk格式,一定在檔案裡新增<meta charset="gbk">

總結:

  1. 亂碼產生的根本原因是你儲存的編碼格式和瀏覽器解析時的解碼格式不匹配導致的。
  2. 亂碼一般是英文以外的字元才會出現。 為啥純粹的英文不會出現亂碼問題,即使編碼方式和解碼方式不一致?那是因為前面講過了 utf-8、gbk對英文都是採用1個位元組的編碼方式,並且使用了相同的碼字。

加微訊號: astak10或者長按識別下方二維碼進入前端技術交流群 ,暗號:寫程式碼啦

每日一題,每週資源推薦,精彩部落格推薦,工作、筆試、面試經驗交流解答,免費直播課,群友輕分享... ,數不盡的福利免費送

聊一聊編碼與亂碼的區別

相關文章