Go語言重新開始，Go Modules 的前世今生與基本使用

騰訊雲加社群發表於2021-11-09
Go

導語 | 隨著Go語言發展與場景變化， GOPATH 引起的編譯依賴、內部自簽發證書、安全審計等問題相繼出現，隨著官方推出的Go Modules逐漸完善，使用者有了新的選擇。本文將會帶領大家從0開始，認識並使用Go Modules。

本文作者：李保坤，騰訊雲高階開發工程師、InfluxDB/OpenCensus Contributor、Golang 程式碼貢獻者。

image.png
2020 年騰訊內部的一份開發者報告顯示，Go 語言已經成為騰訊內部第二大後端開發語言，在騰訊每天有大量的 Go 開發者在做業務和平臺開發，大量的團隊和專案使用也暴露出一些問題，隨著 Go Modules 的出現，類似於內部自簽發證書、安全審計等這些問題也逐漸得到解決。

筆者在騰訊當前負責騰訊雲在 Go 程式語言使用上的一些問題， 2021年初開始負責內部 goproxy 服務並推廣Go Modules使用，這些技術支撐了騰訊雲、微信、騰訊視訊、騰訊遊戲、騰訊音樂、騰訊會議等明星產品，並與公司內部軟體源團隊、工蜂團隊、TRPC 團隊以及各個 CI 團隊達成密切的合作。在本系列文章中，筆者就將由淺入深幫助大家開始學習和了解 Go Modules。

Golang 開發的模式演進

從 Go 出生開始，使用者就一直在使用 GOPATH 這個環境變數，隨著 Go 語言的快速發展和不斷壯大，由 GOPATH 引起的編譯依賴問題也開始逐漸出現。終於在2019 年， Golang 迎來 10 週年之際，Google Go 團隊終於開始把目光投向了這一伴隨了 Golang 十年的環境變數。

GOPATH的使用

目前在 Go 中存在兩種開發模式，GOPATH mode 和 Go modules mode。
在 Go modules 之前，Go 開發中的依賴管理使用 GOPATH 開發模式。在 GOPATH 開發模式中，Go 命令使用 GOPATH 環境變數來實現以下幾個功能：

  1. go install 命令安裝二進位制庫到 $GOBIN， 其預設路徑為 $GOPATH/bin。
  2. go install 命令安裝編譯好的包到 $GOPATH/pkg/ 中，例如將 example.com/y/z 安裝到 $GOPATH/pkg/example.com/y/z.a。
  3. go get 命令下載原始碼包到 $GOPATH/src/ 中，例如將 example.com/y/z 下載到 $GOPATH/src/example。

Go modules的發展歷程

GOPATH mode 開發模式是終將要被淘汰的，Go 官方在整個 Go 開發生態系統中新增 package version 這一概念，進而引入 Go modules 開發模式。從 GOPATH mode 開發模式變換到 Go modules 是一個漫長的過程，它已經經歷了數個 Go 的發行版本：

  • Go 1.11 (2018 年 8 月) 引入了 GO111MODULE 環境變數，其預設值為 auto。如果設定該變數 GO111MODULE=off， 那麼 go 命令將始終使用 GOPATH mode 開發模式。如果設定該變數 GO111MODULE=on，go 命令將始終使用 Go modules 開發模式。如果設定該變數 GO111MODULE=auto （或者不設定），go 命令列會根據當前工作目錄來決定使用哪種模式，如果當前目錄在 $GOPATH/src 以外，並且在根目錄下存在 go.mod 檔案，那麼 go 命令會啟用 Go module 模式，否則使用 GOPATH 開發模式。這個規則保證了所有在 $GOPATH/src 中使用 auto 值時原有編譯不受影響，並且還可以在其他目錄中來體驗最新的 Go module 開發模式。
  • Go 1.13 (2019 年 8 月) 調整了 GO111MODULE=auto 模式中對 $GOPATH/src 的限制，如果一個程式碼庫在 $GOPATH/src 中，並且有 go.mod 檔案的存在， go 命令會啟用 module 開發模式。這允許使用者繼續在基於匯入的層次結構中組織他們的檢出程式碼，但使用模組進行個別倉庫的匯入。
  • Go 1.16 (2021 年 2 月) 會將 GO111MODULE=on 做為預設值，預設啟用 go module 開發模式，也就是說，預設情況下 GOPATH 開發模式將被徹底關閉。如果使用者需要使用 GOPATH 開發模式可以指定環境變數 GO111MODULE=auto 或者 GO111MODULE=off。
  • Go 1.NN (???) 將會廢棄 GO111MODULE 環境變數和 GOPATH 開發模式，預設完全使用 module 開發模式。

GOPATH 與Go modules的相愛想殺

針對大家關心的幾個問題，筆者對此作出如下回答：

Q1：GOPATH 變數會被移除嗎？
A：不會，GOPATH 變數不會被移除。未來廢棄 GOPATH 開發模式並不是指刪除 GOPATH 環境變數，它會繼續保留，主要作用如下：

  • go install 命令安裝二進位制到 $GOBIN 目錄，其預設位置為 $GOPATH/bin。
  • go get 命令快取下載的 modules 到 $GOMODCACHE 目錄，預設位置為 $GOPATH/pkg/mod。
  • go get 命令快取下載的 checksum 資料到 $GOPATH/pkg/sumdb 目錄。

Q2：我還可以繼續在 GOPATH/src/import/path 中建立程式碼庫嗎？
A:可以，很多開發者以這樣的檔案結構來組織自己的倉庫，你只需要在自己建立的倉庫中新增 go.mod 檔案。

Q3： 如果我想測試修改一個我需要的依賴庫，我改怎麼做？
A:如果你編譯自己的專案時依賴了一些未釋出的變更，你可以使用 go.mod 的 replace來實現你的需求。
舉個例子，如果你已經將 golang.org/x/website 和 golang.org/x/tools 下載到 $GOPATH/src/ 目錄下，那麼你可以在 $GOPATH/src/golang.org/x/website/go.mod 中新增下面的指令來完成替換：
replace golang.org/x/tools => $GOPATH/src/golang.org/x/tools
當然，replace 指令是不感知 GOPATH 的，將程式碼下載到其他目錄也一樣可以。
從0開始使用 Go Modules

  1. 建立一個新的 Go module
    首先建立一個新目錄 /home/gopher/hello，然後進入到這個目錄中，接著建立一個新檔案，
hello.go:
package hello

func Hello() string {
    return "Hello, world."
}

然後再寫個對應的測試檔案 hello_test.go:

package hello

import "testing"

func TestHello(t *testing.T) {
    want := "Hello, world."
    if got := Hello(); got != want {
        t.Errorf("Hello() = %q, want %q", got, want)
    }
}

現在我們擁有了一個 package，但它還不是一個 module，因為還沒有建立 go.mod 檔案。如果在 /home/gopher/hello 目錄中執行 go test，則可以看到：

$ go test
go: go.mod file not found in current directory or any parent directory; see 'go help modules'

可以看到 Go 命令列提示沒有找到 go.mod 檔案，可以參考 go help modules。這樣的話可以使用 Go mod init 來初始化一下，然後再執行 Go test：


$ go mod init example.com/hello
go: creating new go.mod: module example.com/hello
go: to add module requirements and sums:

go mod tidy
$go mod tidygo 
$ go test
PASS
ok      example.com/hello   0.020s
$

這樣的話，module 測試就完成了。
然後執行的 go mod init 命令建立了一個 go.mod 檔案:

$ cat go.mod
module example.com/hello

go 1.17
  1. 給 module 新增依賴
    Go modules 的主要亮點在於在程式設計時使用別人寫的程式碼，即引入一個依賴庫時能有非常好的體驗。首先更新一下 hello.go，引入 rsc.io/quote 來實現一些新的功能。
package hello

import "rsc.io/quote"

func Hello() string {
    return quote.Hello()
}

然後，再測試一下：

$ go test
hello.go:3:8: no required module provides package rsc.io/quote; to add it:

go get rsc.io/quote
$ go get rsc.io/quote
go: downloading rsc.io/quote v1.5.2
go: downloading rsc.io/sampler v1.3.0
go: downloading golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c
go: added golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c
go: added rsc.io/quote v1.5.2
go: added rsc.io/sampler v1.3.0
$ go test
PASS
ok      example.com/hello   1.401s

從 Go 1.7開始，Go modules 開始使用 lazyloading 載入機制，依賴庫的更新需要根據提示手動進行相應的更新。
Go 命令會根據 go.mod 的檔案來解析拉取指定的依賴版本。如果在 go.mod 中沒有找到指定的版本，會提示相應的命令引導使用者新增，然後 Go 命令會去解析最新的穩定版本（Latest），並且新增到 go.mod 檔案中。 在這個例子中可以看到，第一次執行的 Go test 執行需要 rsc.io/quote 這個依賴，但是在 go.mod 檔案中並沒有找到，於是引導使用者去獲取 latest 版本，使用者通過 go get rsc.io/quote 獲取了最新版本 v1.5.2，而且還另外下載了另外兩個 rsc.io/quote 需要的依賴：rsc.io/sampler 和 golang.org/x/text。間接依賴引用也會記錄在 go.mod 檔案中，使用 indirect 註釋進行標記。

$ cat go.mod
module example.com/hello

go 1.17

require (
    golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c // indirect
    rsc.io/quote v1.5.2 // indirect
    rsc.io/sampler v1.3.0 // indirect
)

再一次執行 go test 命令不會重複上面的工作，因為 go.mod 已經是最新的，並且所需的依賴包已經下載到本機中了（在 $GOPATH/pkg/mod 中）：

$ go test
PASS
ok      example.com/hello   0.020s

注意，雖然 Go 命令可以快速輕鬆地新增新的依賴項，但並非沒有代價。
如上面所提到，在專案中新增一個直接依賴可能會引入其他間接依賴。go list -m all 命令可以列出當前專案所依賴的所有依賴：

$ go list -m all
example.com/hello
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c
rsc.io/quote v1.5.2
rsc.io/sampler v1.3.0

在 go list 的輸出結果中，可以看到當前的 module，也被稱為 main module 會展示在第一行，然後其他的會按照 module path 進行排序。其中依賴 golang.org/x/text 的版本號 v0.0.0-20170915032832-14c0d48ead0c 是一個偽版本號, 它是 Go 版本的一種，指向了一個沒有打 tag 的 commit 上。
另外除了 go.mod 檔案，go 命令還維護了一個叫做 go.sum 的檔案，這個檔案包含了每個版本對應的加密雜湊值。

$ cat go.sum
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c h1:qgOY6WgZO...
golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c/go.mod h1:Nq...
rsc.io/quote v1.5.2 h1:w5fcysjrx7yqtD/aO+QwRjYZOKnaM9Uh2b40tElTs3...
rsc.io/quote v1.5.2/go.mod h1:LzX7hefJvL54yjefDEDHNONDjII0t9xZLPX...
rsc.io/sampler v1.3.0 h1:7uVkIFmeBqHfdjD+gZwtXXI+RODJ2Wc4O7MPEh/Q...
rsc.io/sampler v1.3.0/go.mod h1:T1hPZKmBbMNahiBKFy5HrXp6adAjACjK9...

Go 命令使用 go.sum 來保證每次下載的依賴庫程式碼和第一次都是一致的，進而來保證專案不會出現一些異常情況，所以 go.mod 和 go.sum 都應該上傳到 git 等版本控制系統中。

  1. 更新依賴
    從上面 go list -m all 命令的輸出中，可以看到在庫 golang.org/x/text 中使用了一個偽版本號。首先把這個版本好更新到最新的穩定版本：

$ go get golang.org/x/text
go: downloading golang.org/x/text v0.3.7
go: upgraded golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c => v0.3.7

$ go test
PASS
ok      example.com/hello   0.013s

測試仍然可以通過，然後再執行一次 go list -m all:

$ go list -m all
example.com/hello
golang.org/x/text v0.3.7
rsc.io/quote v1.5.2
rsc.io/sampler v1.3.0

$ cat go.mod
module example.com/hello

go 1.17

require (
    golang.org/x/text v0.3.7 // indirect
    rsc.io/quote v1.5.2 // indirect
    rsc.io/sampler v1.3.0 // indirect
)

結語

Go 通過 Go modules 的依賴管理統一了 Go 生態中眾多的第三方的依賴管理，並且高度整合在 Go 命令列中，無需開發者們額外安裝使用，目前在當前維護的 Go 版本中都已經支援了 Go modules。還沒有切換到 Go modules 的使用者，強烈建議大家開始使用它，這無論是從團隊開發體驗、效能還是安全等方面，都能提供諸多的優質特性和保障。

相關文章