Python中文問題研究

鴨脖發表於2012-04-28
Python

我曾經在深入淺出java中文問題系列中研究過java的中文問題，現在中文問題已經不再羈絆我在java世界中漫遊的腳步了。最近，對Python產生了濃厚的興趣，誰知道跟中文問題這個老朋友又一次不期而遇。看來，在程式碼世界中，中文問題會在很長一段時間裡跟我們形影不離。這也難怪，誰讓當初發明計算機的不是我們中國人呢，否則，現在全世界的計算機都支援而且必須支援GBK，這樣，寫這樣文章的人就不會是我了，而是大洋彼岸的一個金髮碧眼的程式設計師，而且標題也相應改為 “studying the english problem in '大蟒' ”。。哈哈
    YY而已，還是面對現實問題吧。相對java而言，中文問題在Python中的表現更為激烈。“激烈”的意思不是說更為嚴重或者說難於解決，只是Python對於decode＆encode錯誤的預設處理方式為strict，也就是直接報錯，而java使用replace的方式來處理了，因此java出現中文問題後會列印出很多"??"。此外，Python的預設的encoding是ASCII，而java的預設encoding跟作業系統的encoding是一致的。在這一點上，我覺得java更為合理，這樣對程式設計師更為友好，也減少了newbies 開始時的挫折感，是有利於語言的推廣的。但是，Python也有它的道理，畢竟ASCII是唯一的全世界所有平臺都支援的字符集，而且問題始終是問題，始終會出現的，逃避它還不如早點面對它。
   好了，說了這麼多，該說說Python中中文問題的症狀了。在這之前，我們先要了解Python中有兩種字串，分別是一般的字串（每個字元用8 bits表示）和Unicode字串（每個字元用一個或者多個位元組表示），它們可以相互轉換。關於Unicode，Joel Spolsky 在 The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) 中有生動的說明，Jason Orendorff 在 Unicode for programmers 有著更為全面的描述，在此我就不再多說什麼了。來看下面的程式碼：

x = u"中文你好"
print s

    執行上述程式碼，Python會給出下面的錯誤提示

SyntaxError: Non-ASCII character '\xd6' in file G:\workspace\chinese_problem\src\test.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details
   說是遇到非ASCII字元了，並讓我們參考pep-0263。PEP-0263（Python Enhancement Proposal）上面說得很清楚了，Python也意識到了國際化問題，並提出瞭解決方案。根據提案上面的要求，我們有如下程式碼
 # -*- coding:gb2312 -*- ＃必須在第一行或者第二行
print "-------------code 1----------------"
a = "中文a我愛你"
print a
print a.find("我")
b = a.replace("愛", "喜歡")
print b
print "--------------code 2----------------"
x = "中文a我愛你"
y = unicode(x, "gb2312")
print y.encode("gb2312")
print y.find(u"我")
z = y.replace(u"愛", u"喜歡")
print z.encode("gb2312")
print "---------------code 3----------------"
print y
    程式執行的結果如下：
-------------code 1----------------
中文a我愛你
5
中文a我喜歡你
--------------code 2----------------
中文a我愛你
3
中文a我喜歡你
---------------code 3----------------
Traceback (most recent call last):
  File "G:\Downloads\eclipse\workspace\p\src\hello.py", line 16, in <module>
    print y
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

     我們可以看到，通過引入編碼宣告，我們可以正常地在使用中文了，而且在code 1和2中，控制檯也能正確的把中文列印出來。但是，很明顯，上面的程式碼也反映出了不少的問題：
    1、code 1 和 2在使用print時採用了不同的方式，1是直接print，而2在print之前先進行編碼
    2、code 1 和 2中在同樣的字串查詢同一個字元“我”，得出的結果不一樣（分別是5和3）
    3、code 3 中直接列印unicode字串 y時出現錯誤（這也是為什麼code 2中要先進行編碼的原因）

    為什麼？為什麼？我們可以先在腦海中模擬一下我們使用Python的流程：首先，我們先用編輯器編寫好原始碼，儲存成檔案。如果原始碼中有編碼宣告而且用的編輯器支援該語法，那麼該檔案就以相應的編碼方式儲存在磁碟中。注意：編碼宣告和原始檔的編碼不一定是一致的，你完全可以在編碼宣告中宣告編碼為UTF-8，但是用GB2312來儲存原始檔。當然，我們不可能自尋煩惱，故意寫錯，而且好的IDE也能強制保證兩者的一致性，但是，如果我們用記事本或者EditPlus等編輯器來編寫程式碼的話，一不小心就會出現這種問題的。
    得到一個.py檔案後，我們就可以執行它了，這是，我們就把程式碼交給Python解析器來完成解析工作。解析器讀入檔案時，先解析檔案中的編碼宣告，我們假設檔案的編碼為gb2312，那麼先將檔案中的內容由gb2312轉換成Unicode，然後再把這些Unicode轉換為UTF-8格式的位元組串。完成這一步驟後，解析器把這些UTF-8位元組串分段，解析。如果遇到使用Unicode字串，那麼就使用相應的UTF-8位元組串建立Unicode字串，如果程式中使用的是一般的字串，那麼解析器先將UTF-8位元組串通過Unicode轉換成相應編碼（這裡就是gb2312編碼）的位元組串，並用其建立一般的字串物件。也就是說，Unicode字串跟一般字串在記憶體中的存放格式是不一樣的，前者使用UTF-8的格式，後者使用GB2312格式。
    好了，記憶體中的字串存放格式我們知道了，下面我們要了解print的工作方式。print其實只是負責把記憶體中相應的位元組串交給作業系統，讓作業系統相應的程式（譬如cmd視窗）進行顯示。這裡有兩種情況：
   1、若字串是一般的字串，那麼print只需把記憶體中相應的位元組串推送給作業系統。如例子中的code 1。
    2、如果字串是Unicode字串，那麼print在推送之前先進行相應的encode：我們可以顯示使用Unicode的encode方法使用合適的編碼方式來編碼（例子中code 2），否則Python使用預設的編碼方式進行編碼，也就是ASCII（例子中的code 3）。當然ASCII是不可能正確編碼中文的，因此Python報錯。
    至此，上面的三個問題我們已經可以解析第一和第三個了。至於第二個問題，因為Python中有兩種字串，一般字串和Unicode字串，兩者都有各自的字元處理方法。對於前者，方法是以位元組的方式進行的，而且在GB2312中，每個漢字佔用兩個位元組，因此得到的結果是5；對於後者，也就是Unicode字串，所有字元都是統一看待的，因此得到3。
     雖然上面只提到了控制檯程式的中文問題，但是檔案讀寫以及網路傳輸中出現的中文問題在原理上都是類似的。Unicode的出現可以很大程度上解決軟體的國際化問題，同時Python為Unicode提供了極為良好的支援，因此，我建議大家在編寫Python的程式時，都統一使用Unicode方式。儲存檔案時使用UTF-8的編碼方式。How to Use UTF-8 with Python有詳細的描述，大家可以參考一下。
    Python中能導致出現中文問題的地方還很多，譬如檔案的讀寫，網路資料的傳輸等，希望大家能多多交流，共同解決這些問題。


文章來源http://hi.baidu.com/daping_zhang/blog/item/09dda71ea9d7d21f4134173e.html#0

相關文章