Python編解碼問題與文字檔案處理

自動化程式碼美學發表於2021-06-19
Python

編解碼器

在字元與位元組之間的轉換過程稱為編解碼，Python自帶了超過100種編解碼器，比如：

  • ascii（英文體系）
  • gb2312（中文體系）
  • utf-8（全球通用）
  • latin1
  • utf-16

編解碼器一般有多個別名，比如utf8、utf-8、U8。

這些編解碼器可以傳給open()、str.encode()、bytes.decode()等函式的encoding引數。

UnicodeEncodeError

多數非UTF編解碼器（比如cp437）只能處理Unicode字元的一小部分子集。把字元轉換成位元組時，如果目標編碼中沒有定義這個字元，那麼就會丟擲UnicodeEncodeError異常。

處理方式一：使用utf8編碼。

處理方式二：新增errors引數：

# 忽略 如b'So Paulo'
city.encode("cp437", errors="ignore")
# 替換為? 如b'S?o Paulo'
city.encode("cp437", errors="replace")
# 替換為XML實體 如b'São Paulo'
city.encode("cp437", errors="xmlcharrefreplace")

UnicodeDecodeError

把位元組轉換為字元時，遇到無法轉換的位元組時會丟擲UnicodeDecodeError異常。這是因為不是每個位元組都包含有效的ASCII字元，也不是每個字元都是有效的UTF-8。

處理方式也有兩種，跟上面一樣。

SyntaxError

Python3預設使用UTF-8編碼原始碼。如果載入的.py模組中包含UTF-8之外的資料，而且沒有宣告編碼，就會丟擲SyntaxError異常。

處理方式是在檔案頂部新增coding註釋：

# coding: cp1252

但是這個辦法並不好，最好還是找到這些報錯字元，把它們轉換為UTF-8。

從網上直接複製程式碼到IDE中執行經常會報這個錯。

處理文字檔案

Unicode三明治：

image-20210616093403143

在程式中儘量少接觸二進位制，把位元組解碼為字元，只處理字串物件。比如在Django中，view應該輸出Unicode字串，Django會負責把響應資料編碼成位元組序列，而且預設使用UTF-8編碼。

Python內建的open函式就是採用了這個原則，在讀取檔案時會做必要的解碼，以文字模式寫入檔案時會做必要的編碼。

檔案亂碼

Windows更容易遇到這個問題，因為Windows並不是統一的UTF-8編碼，比如在Windows10中：

>>> open("cafe.txt", "w", encoding="utf8").write("café")
4
>>> open("cafe.txt").read()
'caf茅'

寫入檔案時指定了utf8，但是讀取檔案沒有指定，Python就會使用系統預設編碼：

>>> import locale
# 開啟檔案用這個
# 如果沒有設定PYTHONENCODING環境變數，sys.stdout/stdin/stderr也用這個
>>> locale.getpreferredencoding()
'cp936'

cp936把最後一個位元組解碼成了茅而不是é。

>>> import sys
# 二進位制資料和字串之間轉換用這個
>>> sys.getdefaultencoding()
'utf-8'

>>> import sys
# 檔名（不是檔案內容）用這個
>>> sys.getfilesystemencoding()
'utf-8'

GNU/Linux或Mac OS X不會遇到這個問題，因為多年來它們的預設編碼都是UTF-8。

解決辦法是一定不能依賴系統預設編碼，開啟檔案時始終應該明確傳入encoding=引數，因為不同的裝置使用的預設編碼可能不同，有時隔一天也會發生變化。

小結

本文介紹了Python的編解碼器，以及可能出現的UnicodeEncodeError、UnicodeDecodeError、SyntaxError問題，然後給出了Python的open函式處理文字檔案的原則，最後對Windows容易出現的檔案亂碼問題進行了說明。

參考資料：

《流暢的Python》

相關文章