選自Stream
作者:Thierry Schellenbach
機器之心編譯
參與:黃小天、李亞洲
轉用一門新語言通常是一項大決策,尤其是當你的團隊成員中只有一個使用過它時。今年 Stream 團隊的主要程式語言從 Python 轉向了 Go。本文解釋了其背後的九大原因以及如何做好這一轉換。
為什麼使用 Go
原因 1:效能
Go 極其地快。其效能與 Java 或 C++相似。在我們的使用中,Go 一般比 Python 要快 30 倍。以下是 Go 與 Java 之間的基準比較:
原因 2:語言效能很重要
對很多應用來說,程式語言只是簡單充當了其與資料集之間的膠水。語言本身的效能常常無關輕重。
但是 Stream 是一個 API 提供商,服務於世界 500 強以及超過 2 億的終端使用者。數年來我們已經優化了 Cassandra、PostgreSQL、Redis 等等,然而最終抵達了所使用語言的極限。
Python 非常棒,但是其在序列化/去序列化、排序和聚合中表現欠佳。我們經常會遇到這樣的問題:Cassandra 用時 1ms 檢索了資料,Python 卻需要 10ms 將其轉化成物件。
原因 3:開發者效率&不要過於創新
看一下絕佳的入門教程《開始學習 Go 語言》(http://howistart.org/posts/go/1/)中的一小段程式碼:
如果你是一個新手,看到這段程式碼你並不會感到吃驚。它展示了多種賦值、資料結構、指標、格式化以及內建的 HTTP 庫。
當我第一次程式設計時,我很喜歡使用 Python 的高階功能。Python 允許你創造性地使用正在編寫的程式碼,比如,你可以:
- 在程式碼初始化時,使用 MetaClasses 自行註冊類別
- 置換真假
- 新增函式到內建函式列表中
- 通過奇妙的方法過載運算子
毋庸置疑這些程式碼很有趣,但也使得在讀取其他人的工作時,程式碼變得難以理解。
Go 強迫你堅持打牢基礎,這也就為讀取任意程式碼帶來了便利,並能很快搞明白當下發生的事情。
注意:當然如何容易還是要取決於你的使用案例。如果你要建立一個基本的 CRUD API,我還是建議你使用 Django + DRF,或者 Rails。
原因 4:併發性&通道
Go 作為一門語言致力於使事情簡單化。它並未引入很多新概念,而是聚焦於打造一門簡單的語言,它使用起來異常快速並且簡單。其唯一的創新之處是 goroutines 和通道。Goroutines 是 Go 面向執行緒的輕量級方法,而通道是 goroutines 之間通訊的優先方式。
建立 Goroutines 的成本很低,只需幾千個位元組的額外記憶體,正由於此,才使得同時執行數百個甚至數千個 goroutines 成為可能。你可以藉助通道實現 goroutines 之間的通訊。Go 執行時間可以表示所有的複雜性。Goroutines 以及基於通道的併發性方法使其非常容易使用所有可用的 CPU 核心,並處理併發的 IO——所有不帶有複雜的開發。相較於 Python/Java,在一個 goroutine 上執行一個函式需要最小的樣板程式碼。你只需使用關鍵詞「go」新增函式呼叫:
Go 的併發性方法非常容易上手,相較於 Node 也很有趣;在 Node 中,開發者必須密切關注非同步程式碼的處理。
併發性的另一個優質特性是競賽檢測器,這使其很容易弄清楚非同步程式碼中是否存在競態條件。下面是一些上手 Go 和通道的很好的資源:
- https://gobyexample.com/channels
- https://tour.golang.org/concurrency/2
- http://guzalexander.com/2013/12/06/golang-channels-tutorial.html
- https://www.golang-book.com/books/intro/10
- https://www.goinggo.net/2014/02/the-nature-of-channels-in-go.html
原因 5:快速的編譯時間
當前我們使用 Go 編寫的最大微服務的編譯時間只需 6 秒。相較於 Java 和 C++呆滯的編譯速度,Go 的快速編譯時間是一個主要的效率優勢。我熱愛擊劍,但是當我依然記得程式碼應該做什麼之時,事情已經完成就更好了。
Go 之前的程式碼編譯
原因 6:打造團隊的能力
首先,最明顯的一點是:Go 的開發者遠沒有 C++和 Java 等舊語言多。據知,有 38% 的開發者瞭解 Java,19.3% 的開發者瞭解 C++,只有 4.6% 的開發者知道 Go。GitHub 資料表明了相似的趨勢:相較於 Erlang、Scala 和 Elixir,Go 更為流行,但是相較於 Java 和 C++ 就不是了。
幸運的是 Go 非常簡單,且易於學習。它只提供了基本功能而沒有多餘。Go 引入的新概念是「defer」宣告,以及內建的帶有 goroutines 和通道的併發性管理。正是由於 Go 的簡單性,任何的 Python、Elixir、C++、Scala 或者 Java 開發者皆可在一月內組建成一個高效的 Go 團隊。
原因 7:強大的生態系統
對我們這麼大小的團隊(大約 20 人)而言,生態系統很重要。如果你需要重做每塊功能,那就無法為客戶創造收益了。Go 有著強大的工具支援,面向 Redis、RabbitMQ、PostgreSQL、Template parsing、Task scheduling、Expression parsing 和 RocksDB 的穩定的庫。
Go 的生態系統相比於 Rust、Elixir 這樣的語言有很大的優勢。當然,它又略遜於 Java、Python 或 Node 這樣的語言,但它很穩定,而且你會發現在很多基礎需求上,已經有高質量的檔案包可用了。
原因 8:GOFMT,強制程式碼格式
Gofmt 是一種強大的命令列功能,內建在 Go 的編譯器中來規定程式碼的格式。從功能上看,它類似於 Python 的 autopep8。格式一致很重要,但實際的格式標準並不總是非常重要。Gofmt 用一種官方的形式規格程式碼,避免了不必要的討論。
原因 9:gRPC 和 Protocol Buffers
Go 語言對 protocol buffers 和 gRPC 有一流的支援。這兩個工具能一起友好地工作以構建需要通過 RPC 進行通訊的微伺服器(microservices)。我們只需要寫一個清單(manifest)就能定義 RPC 呼叫發生的情況和引數,然後從該清單將自動生成伺服器和客戶端程式碼。這樣產生程式碼不僅快速,同時網路佔用也非常少。
從相同的清單,我們可以從不同的語言生成客戶端程式碼,例如 C++、Java、Python 和 Ruby。因此內部通訊的 RESET 端點不會產生分歧,我們每次也就需要編寫幾乎相同的客戶端和伺服器程式碼。
使用 Go 語言的缺點
缺點 1:缺少框架
Go 語言沒有一個主要的框架,如 Ruby 的 Rails 框架、Python 的 Django 框架或 PHP 的 Laravel。這是 Go 語言社群激烈討論的問題,因為許多人認為我們不應該從使用框架開始。在很多案例情況中確實如此,但如果只是希望構建一個簡單的 CRUD API,那麼使用 Django/DJRF、Rails Laravel 或 Phoenix 將簡單地多。
缺點 2:錯誤處理
Go 語言通過函式和預期的呼叫程式碼簡單地返回錯誤(或返回撥用堆疊)而幫助開發者處理編譯報錯。雖然這種方法是有效的,但很容易丟失錯誤發生的範圍,因此我們也很難向使用者提供有意義的錯誤資訊。錯誤包(errors package)可以允許我們新增返回錯誤的上下文和堆疊追蹤而解決該問題。
另一個問題是我們可能會忘記處理報錯。諸如 errcheck 和 megacheck 等靜態分析工具可以避免出現這些失誤。雖然這些解決方案十分有效,但可能並不是那麼正確的方法。
缺點 3:軟體包管理
Go 語言的軟體包管理絕對不是完美的。預設情況下,它沒有辦法制定特定版本的依賴庫,也無法建立可複寫的 builds。相比之下 Python、Node 和 Ruby 都有更好的軟體包管理系統。然而通過正確的工具,Go 語言的軟體包管理也可以表現得不錯。
我們可以使用 Dep 來管理依賴項,它也能指定特定的軟體包版本。除此之外,我們還可以使用一個名為 VirtualGo 的開源工具,它能輕鬆地管理 Go 語言編寫的多個專案。
Python vs Go
我們實施的一個有趣實驗是用 Python 寫排名 feed,然後用 Go 改寫。看下面這種排序方法的示例:
Python 和 Go 程式碼都需要以下要求從而支援上面的排序方法:
- 解析得分的表達。在此示例中,我們想要把 simple_gauss(time)*popularity 字串轉變為一種函式,能夠把 activity 作為輸入然後給出得分作為輸出。
- 在 JSON config 上建立部分函式。例如,我們想要「simple_gauss」呼叫「decay_gauss」,且帶有的鍵值對為"scale": "5d"、"offset": "1d"、"decay": "0.3"。
- 解析「defaults」配置,便於某個領域沒有明確定義的情況下有所反饋。
- 從 step1 開始使用函式,為 feed 中的所有 activity 打分。
開發 Python 版本排序程式碼大約需要 3 天,包括寫程式碼、測試和建立文件。接下來,我麼花費大約 2 周的時間優化程式碼。其中一個優化是把得分表達 simple_gauss(time)*popularity 轉譯進一個抽象語法樹。我們也實現了 caching logic,之後會預先計算每次的得分。
相比之下,開發 Go 版本的程式碼需要 4 天,但之後不需要更多的優化。所以雖然最初的開發上 Python 更快,但 Go 最終需要的工作量更少。此外,Go 程式碼要比高度優化的 python 程式碼快了 40 多倍。
以上只是我們轉向 Go 所體驗到的一種好處。當然,也不能這麼做比較:
- 該排序程式碼是我用 Go 寫的第一個專案;
- Go 程式碼是在 Python 程式碼之後寫的,所以提前理解了該案例;
- Go 的表達解析庫質量優越。
Elixir vs Go
我們評估的另一種語言是 Elixir。Elixir 建立在 Erlang 虛擬機器上。這是一種迷人的語言,我們之所以想到它是因為我們組員中有一個在 Erlang 上非常有經驗。
在使用案例中,我們觀察到 Go 的原始效能更好。Go 和 Elixir 都能很好地處理數千條並行需求,然而,如果是單獨的要求,Go 實際上更快。相對於 Elixir,我們選擇 Go 的另一個原因是生態系統。在我們需求的元件上,Go 的庫更為成熟。在很多案例中,Elixir 庫不適合產品使用。同時,也很難找到/訓練同樣使用 Elixir 的開發者。
結論
Go 是一種非常高效的語言,高度支援併發性。同時,它也像 C++和 Java 一樣快。雖然相比於 Python 和 Ruby,使用 Go 建立東西需要更多的時間,但在後續的程式碼優化上可以節省大量時間。在 Stream,我們有個小型開發團隊為 2 億終端使用者提供 feed 流。對新手開發者而言,Go 結合了強大的生態系統、易於上手,也有超快的表現、高度支援併發性,富有成效的程式設計環境使它成為了一種好的選擇。Stream 仍舊使用 Python 做個性化 feed,但所有效能密集型的程式碼將會用 Go 來編寫。
原文地址:https://getstream.io/blog/switched-python-go/
本文為機器之心編譯,轉載請聯絡本公眾號獲得授權。