Python 開發者在遷移到 Go 前需要知道的事情

pythontab發表於2013-04-26

這是一篇記錄了我們把一大段 Python/Cython 程式碼遷移到 Go語言經歷的(長)部落格。如果你希望瞭解整個故事、背景等所有的內容,請接著讀。如果只對 Python 開發者進入之前需要知道的東西感興趣,點選下面的連結:

從 Python 遷移到 Go 的提示與技巧

背景


我們在 Repustate 技術上最大的成果就是實現了阿拉伯語情感分析。阿拉伯語真是一個難啃的骨頭,它的單詞語法形態太複雜了。阿拉伯語的分詞(tokenization,把一個句子分成獨立的詞語)相比諸如英語更難,因為阿拉伯語單詞內部可能包含空格(例如,aleph內的位置)。這個不需要保密,那就是 Repustate 使用了支援向量機(SVM)來得到句子最可能的意思,然後在此基礎上分析情感。我們總共用了 22 個模型(22 個支援向量機),文件中的每個單詞都會被分析。也就是說,如果一篇文件包含 500 詞的話,將會有一萬次以上的支援向量機的比較操作。

Python


Repustate幾乎是徹底用 Python 實現的,因為我們使用了 Django 作為應用程式介面和網站架構。所以只能保持程式碼的統一,同時用 Python 實現整個阿拉伯語情感引擎。原型與實現的過程中,Python 還是很不錯的。非常強的表達能力,強大的第三方庫資源。如果你只是服務於網頁的話,還是很完美的。但是,當你需要進行底層計算,需要在雜湊表(Python 中的字典)上進行大量的比較運算的時候,速度就慢下來了。我們每秒鐘只能處理2到3篇阿拉伯語文件,這太慢了。對比我們的英語情感引擎,每秒鐘能處理 500 篇文件。

瓶頸


於是,我們啟動了 Python 分析器,研究哪部分執行得慢。還記得我說過我們會用 22 個支援向量機處理每一個單詞嗎?這些處理都是序列的,沒有並行操作。好,我們第一個想法是把這個改成類似 map/reduce 的操作。長話短說:Python 中不適合使用 map/reduce。當你需要併發性的時候,Python 一點都不好用。2013 年的 PyCon 大會上,Guido 提到了 Tulip,他試圖解決這個問題的新專案,但是還需要一段時間才能推出。如果已經有更好的選擇,我們為什麼還要等它呢。

換 Go 語言還是回家種田


我在 Mozilla 的朋友告訴我,Mazilla 服務中日誌架構的大部分程式碼已經切換成 Go 了,部分原因是 goroutine(Go 執行緒)的強大。Go 是 Google 的一群人設計的,它把並行性作為一級概念,而不像 Python 的不同解決方案做的事後補充。於是,我們開始著手把 Python 換成 Go。

儘管 Go 程式碼還沒達到產品級別,其結果已經非常令人鼓舞了。我們達到了每秒 1000 文件的速度,使用了更少的記憶體,還不用去處理用 Python 時碰到的多程式/gevent/“為什麼 Ctrl+C 殺掉了我的程式”程式碼等討厭的問題。

我們為什麼愛上了Go


只要知道一點兒程式語言工作原理的人,(明白解釋和編譯以及動態與靜態的區別),就會說:“老兄,Go 顯然會更快”。沒錯,我們也可以把整個東西用 Java 來重寫,並且得到類似的效能,但這不是 Go 勝出的原因。你用 Go 寫出程式碼來就很容易是正確的。我也說不清楚怎麼回事,但是一旦程式碼編譯透過(編譯速度還很快),你就感覺到它可以工作了(不只是執行不提示錯誤,而是邏輯上就是對的)。我知道這聽起來很玄乎,但確實是事實。這就像 Python 解決冗餘問題(或者說無冗餘),它把函式作為一級物件,從而函式程式設計可以輕鬆的進行。go執行緒和通道(channel)讓你的生活如此輕鬆。你還可以得到靜態型別帶來的效能提升,更精確的控制記憶體分配,卻不會因此損失表達性。

我們早該知道的事情


除去那些讚美之詞,用 Go 的時候需要一種不同於用 Python 時的心態。下面是一些遷移時候的筆記,把 Python 轉成 Go 時隨機躍入我腦子的東西:

沒有內建的集合型別(需要使用 map 然後檢查存在性)

由於沒有集合型別,需要自己實現交集、並集等方法

沒有元組(tuple),需要設計自己的結構(struct)或者使用slice(類似陣列)

沒有類似 __getattr_() 的方法,需要你檢查存在性而不能設定預設值,例如 Python 中,你可以這麼寫:value = dict.get("a_key", "default_value")

需要檢查錯誤(或者至少顯式的忽略它們)

不能夠有未使用的變數和包,需要時不時的註釋掉一些程式碼

在 []byte 和 string 之間切換,正則處理(regexp)使用 []byte(可改寫的)。這是對的,但轉換來轉換去還是很麻煩

Python 語法更寬鬆。你可以用超出範圍的索引取字串的片段而不出錯,也可以使用負數取片段。Go 就不行。

無法使用混合型別的資料結構。這可能不一定合適,但是 Python 中有時候我會有一個取值可以是字串和列表混合的字典。Go 裡不行,你必須清理裡的資料結構或者自定義結構*

沒法把元組或者列表分配成分開的變數(例如,x, y, x = [1, 2, 3])

駝峰式大小寫習慣(首字母不大寫的函式/結構不會暴露給其他包)。我更喜歡 Python 的小寫加下劃線的習慣。

必須顯式的檢查錯誤是否為空,不像 Python 中很多型別都可以像布林型別一樣的用(0,空串,None都可以作為布林“假”)

一些模組(如 crypo/md5)的文件不足,但是 IRC 上的 go-nutes 很厲害,有強大的支援

數字轉字串(int64->string)與 []byte 轉字串(只要 string([]byte))不同,需要呼叫 strconv

讀 Go 的程式碼絕對像是程式語言,而 Python 可以寫成像是虛擬碼一樣。Go 使用更多的非英文數字字元,使用 || 和 && 而不是 or 和 and。

寫檔案會有 File.Write([]byte) 和 File.WriteString(string),與 Python 開發者的一種辦法解決問題的信條不一致。

字串插入不好用,必須經常使用 fmt.Sprintf

沒有建構函式,通常的習慣是寫一個 NewType() 函式返回你要的結構

Else(或者 else if)得正確的格式化,else 得和與 if 配對的大括號在一行。奇怪。

函式內外使用不同的賦值運算子,= 和 := (譯者注:此為作者的誤解,= 和 := 的區別是顯式定義型別還是自動型別推導,而函式外的變數只能用 =)

如果我只想要鍵值(dict.keys())或取值(dict.values())的列表,或者元組的列表(dict.items()),Go 中沒有對應的函式,只能自己迭代


相關文章