Golang 需要避免踩的 50 個坑

Gundy發表於2019-04-10

前言

Go 是一門簡單有趣的程式語言,與其他語言一樣,在使用時不免會遇到很多坑,不過它們大多不是 Go 本身的設計缺陷。如果你剛從其他語言轉到 Go,那這篇文章裡的坑多半會踩到。

如果花時間學習官方 doc、wiki、討論郵件列表Rob Pike 的大量文章以及 Go 的原始碼,會發現這篇文章中的坑是很常見的,新手跳過這些坑,能減少大量除錯程式碼的時間。

初級篇:1-34

1. 左大括號 { 一般不能單獨放一行

在其他大多數語言中,{ 的位置你自行決定。Go 比較特別,遵守分號注入規則(automatic semicolon injection):編譯器會在每行程式碼尾部特定分隔符後加 ; 來分隔多條語句,比如會在 ) 後加分號:

// 錯誤示例
func main()					
{
	println("hello world")
}

// 等效於
func main();	// 無函式體					
{
	println("hello world")
}
複製程式碼

./main.go: missing function body ./main.go: syntax error: unexpected semicolon or newline before {

// 正確示例
func main() {
	println("hello world")
}     
複製程式碼

注意程式碼塊等特殊情況:

// { 並不遵守分號注入規則,不會在其後邊自動加分,此時可換行
func main() {
	{
		println("hello world")
	}
}     

複製程式碼

參考:Golang中自動加分號的特殊分隔符

2. 未使用的變數

如果在函式體程式碼中有未使用的變數,則無法通過編譯,不過全域性變數宣告但不使用是可以的。

即使變數宣告後為變數賦值,依舊無法通過編譯,需在某處使用它:

// 錯誤示例
var gvar int 	// 全域性變數,宣告不使用也可以

func main() {
	var one int 	// error: one declared and not used
	two := 2	// error: two declared and not used
	var three int	// error: three declared and not used
	three = 3		
}


// 正確示例
// 可以直接註釋或移除未使用的變數
func main() {
	var one int
	_ = one
	
	two := 2
	println(two)
	
	var three int
	one = three

	var four int
	four = four
}
複製程式碼

3. 未使用的 import

如果你 import 一個包,但包中的變數、函式、介面和結構體一個都沒有用到的話,將編譯失敗。

可以使用 _ 下劃線符號作為別名來忽略匯入的包,從而避免編譯錯誤,這隻會執行 package 的 init()

// 錯誤示例
import (
	"fmt"	// imported and not used: "fmt"
	"log"	// imported and not used: "log"
	"time"	// imported and not used: "time"
)

func main() {
}


// 正確示例
// 可以使用 goimports 工具來註釋或移除未使用到的包
import (
	_ "fmt"
	"log"
	"time"
)

func main() {
	_ = log.Println
	_ = time.Now
}
複製程式碼

4. 簡短宣告的變數只能在函式內部使用

// 錯誤示例
myvar := 1	// syntax error: non-declaration statement outside function body
func main() {
}


// 正確示例
var  myvar = 1
func main() {
}
複製程式碼

5. 使用簡短宣告來重複宣告變數

不能用簡短宣告方式來單獨為一個變數重複宣告, := 左側至少有一個新變數,才允許多變數的重複宣告:

// 錯誤示例
func main() {  
    one := 0
    one := 1 // error: no new variables on left side of :=
}


// 正確示例
func main() {
	one := 0
	one, two := 1, 2	// two 是新變數,允許 one 的重複宣告。比如 error 處理經常用同名變數 err
	one, two = two, one	// 交換兩個變數值的簡寫
}
複製程式碼

6. 不能使用簡短宣告來設定欄位的值

struct 的變數欄位不能使用 := 來賦值以使用預定義的變數來避免解決:

// 錯誤示例
type info struct {
	result int
}

func work() (int, error) {
	return 3, nil
}

func main() {
	var data info
	data.result, err := work()	// error: non-name data.result on left side of :=
	fmt.Printf("info: %+v\n", data)
}


// 正確示例
func main() {
	var data info
	var err error	// err 需要預宣告

	data.result, err = work()
	if err != nil {
		fmt.Println(err)
		return
	}

	fmt.Printf("info: %+v\n", data)
}
複製程式碼

7. 不小心覆蓋了變數

對從動態語言轉過來的開發者來說,簡短宣告很好用,這可能會讓人誤會 := 是一個賦值操作符。

如果你在新的程式碼塊中像下邊這樣誤用了 :=,編譯不會報錯,但是變數不會按你的預期工作:

func main() {
	x := 1
	println(x)		// 1
	{
		println(x)	// 1
		x := 2
		println(x)	// 2	// 新的 x 變數的作用域只在程式碼塊內部
	}
	println(x)		// 1
}
複製程式碼

這是 Go 開發者常犯的錯,而且不易被發現。

可使用 vet 工具來診斷這種變數覆蓋,Go 預設不做覆蓋檢查,新增 -shadow 選項來啟用:

> go tool vet -shadow main.go
main.go:9: declaration of "x" shadows declaration at main.go:5
複製程式碼

注意 vet 不會報告全部被覆蓋的變數,可以使用 go-nyet 來做進一步的檢測:

> $GOPATH/bin/go-nyet main.go
main.go:10:3:Shadowing variable `x`
複製程式碼

8. 顯式型別的變數無法使用 nil 來初始化

nil 是 interface、function、pointer、map、slice 和 channel 型別變數的預設初始值。但宣告時不指定型別,編譯器也無法推斷出變數的具體型別。

// 錯誤示例
func main() {
    var x = nil	// error: use of untyped nil
	_ = x
}


// 正確示例
func main() {
	var x interface{} = nil
	_ = x
}    
複製程式碼

9. 直接使用值為 nil 的 slice、map

允許對值為 nil 的 slice 新增元素,但對值為 nil 的 map 新增元素則會造成執行時 panic

// map 錯誤示例
func main() {
    var m map[string]int
    m["one"] = 1		// error: panic: assignment to entry in nil map
    // m := make(map[string]int)// map 的正確宣告,分配了實際的記憶體
}    


// slice 正確示例
func main() {
	var s []int
	s = append(s, 1)
}
複製程式碼

10. map 容量

在建立 map 型別的變數時可以指定容量,但不能像 slice 一樣使用 cap() 來檢測分配空間的大小:

// 錯誤示例
func main() {
	m := make(map[string]int, 99)
	println(cap(m)) 	// error: invalid argument m1 (type map[string]int) for cap  
}    
複製程式碼

11. string 型別的變數值不能為 nil

對那些喜歡用 nil 初始化字串的人來說,這就是坑:

// 錯誤示例
func main() {
	var s string = nil	// cannot use nil as type string in assignment
	if s == nil {	// invalid operation: s == nil (mismatched types string and nil)
		s = "default"
	}
}


// 正確示例
func main() {
	var s string	// 字串型別的零值是空串 ""
	if s == "" {
		s = "default"
	}
}
複製程式碼

12. Array 型別的值作為函式引數

在 C/C++ 中,陣列(名)是指標。將陣列作為引數傳進函式時,相當於傳遞了陣列記憶體地址的引用,在函式內部會改變該陣列的值。

在 Go 中,陣列是值。作為引數傳進函式時,傳遞的是陣列的原始值拷貝,此時在函式內部是無法更新該陣列的:

// 陣列使用值拷貝傳參
func main() {
	x := [3]int{1,2,3}

	func(arr [3]int) {
		arr[0] = 7
		fmt.Println(arr)	// [7 2 3]
	}(x)
	fmt.Println(x)			// [1 2 3]	// 並不是你以為的 [7 2 3]
}
複製程式碼

如果想修改引數陣列:

  • 直接傳遞指向這個陣列的指標型別:
// 傳址會修改原資料
func main() {
	x := [3]int{1,2,3}

	func(arr *[3]int) {
		(*arr)[0] = 7	
		fmt.Println(arr)	// &[7 2 3]
	}(&x)
	fmt.Println(x)	// [7 2 3]
}
複製程式碼
  • 直接使用 slice:即使函式內部得到的是 slice 的值拷貝,但依舊會更新 slice 的原始資料(底層 array)
// 會修改 slice 的底層 array,從而修改 slice
func main() {
	x := []int{1, 2, 3}
	func(arr []int) {
		arr[0] = 7
		fmt.Println(x)	// [7 2 3]
	}(x)
	fmt.Println(x)	// [7 2 3]
}
複製程式碼

13. range 遍歷 slice 和 array 時混淆了返回值

與其他程式語言中的 for-inforeach 遍歷語句不同,Go 中的 range 在遍歷時會生成 2 個值,第一個是元素索引,第二個是元素的值:

// 錯誤示例
func main() {
	x := []string{"a", "b", "c"}
	for v := range x {
		fmt.Println(v)	// 1 2 3
	}
}


// 正確示例
func main() {
	x := []string{"a", "b", "c"}
	for _, v := range x {	// 使用 _ 丟棄索引
		fmt.Println(v)
	}
}
複製程式碼

14. slice 和 array 其實是一維資料

看起來 Go 支援多維的 array 和 slice,可以建立陣列的陣列、切片的切片,但其實並不是。

對依賴動態計算多維陣列值的應用來說,就效能和複雜度而言,用 Go 實現的效果並不理想。

可以使用原始的一維陣列、“獨立“ 的切片、“共享底層陣列”的切片來建立動態的多維陣列。

  1. 使用原始的一維陣列:要做好索引檢查、溢位檢測、以及當陣列滿時再新增值時要重新做記憶體分配。

  2. 使用“獨立”的切片分兩步:

  • 建立外部 slice

    • 對每個內部 slice 進行記憶體分配

      注意內部的 slice 相互獨立,使得任一內部 slice 增縮都不會影響到其他的 slice

// 使用各自獨立的 6 個 slice 來建立 [2][3] 的動態多維陣列
func main() {
	x := 2
	y := 4
	
	table := make([][]int, x)
	for i  := range table {
		table[i] = make([]int, y)
	}
}
複製程式碼
  1. 使用“共享底層陣列”的切片
  • 建立一個存放原始資料的容器 slice

  • 建立其他的 slice

  • 切割原始 slice 來初始化其他的 slice

func main() {
	h, w := 2, 4
	raw := make([]int, h*w)

	for i := range raw {
		raw[i] = i
	}

	// 初始化原始 slice
	fmt.Println(raw, &raw[4])	// [0 1 2 3 4 5 6 7] 0xc420012120 
    
	table := make([][]int, h)
	for i := range table {
        
        // 等間距切割原始 slice,建立動態多維陣列 table
        // 0: raw[0*4: 0*4 + 4]
        // 1: raw[1*4: 1*4 + 4]
		table[i] = raw[i*w : i*w + w]
	}

	fmt.Println(table, &table[1][0])	// [[0 1 2 3] [4 5 6 7]] 0xc420012120
}
複製程式碼

更多關於多維陣列的參考

go-how-is-two-dimensional-arrays-memory-representation

what-is-a-concise-way-to-create-a-2d-slice-in-go

15. 訪問 map 中不存在的 key

和其他程式語言類似,如果訪問了 map 中不存在的 key 則希望能返回 nil,比如在 PHP 中:

> php -r '$v = ["x"=>1, "y"=>2]; @var_dump($v["z"]);'
NULL
複製程式碼

Go 則會返回元素對應資料型別的零值,比如 nil''false 和 0,取值操作總有值返回,故不能通過取出來的值來判斷 key 是不是在 map 中。

檢查 key 是否存在可以用 map 直接訪問,檢查返回的第二個引數即可:

// 錯誤的 key 檢測方式
func main() {
	x := map[string]string{"one": "2", "two": "", "three": "3"}
	if v := x["two"]; v == "" {
		fmt.Println("key two is no entry")	// 鍵 two 存不存在都會返回的空字串
	}
}

// 正確示例
func main() {
	x := map[string]string{"one": "2", "two": "", "three": "3"}
	if _, ok := x["two"]; !ok {
		fmt.Println("key two is no entry")
	}
}
複製程式碼

16. string 型別的值是常量,不可更改

嘗試使用索引遍歷字串,來更新字串中的個別字元,是不允許的。

string 型別的值是隻讀的二進位制 byte slice,如果真要修改字串中的字元,將 string 轉為 []byte 修改後,再轉為 string 即可:

// 修改字串的錯誤示例
func main() {
	x := "text"
	x[0] = "T"		// error: cannot assign to x[0]
	fmt.Println(x)
}


// 修改示例
func main() {
	x := "text"
	xBytes := []byte(x)
	xBytes[0] = 'T'	// 注意此時的 T 是 rune 型別
	x = string(xBytes)
	fmt.Println(x)	// Text
}
複製程式碼

注意: 上邊的示例並不是更新字串的正確姿勢,因為一個 UTF8 編碼的字元可能會佔多個位元組,比如漢字就需要 3~4 個位元組來儲存,此時更新其中的一個位元組是錯誤的。

更新字串的正確姿勢:將 string 轉為 rune slice(此時 1 個 rune 可能佔多個 byte),直接更新 rune 中的字元

func main() {
	x := "text"
	xRunes := []rune(x)
	xRunes[0] = '我'
	x = string(xRunes)
	fmt.Println(x)	// 我ext
}
複製程式碼

17. string 與 byte slice 之間的轉換

當進行 string 和 byte slice 相互轉換時,參與轉換的是拷貝的原始值。這種轉換的過程,與其他程式設計語的強制型別轉換操作不同,也和新 slice 與舊 slice 共享底層陣列不同。

Go 在 string 與 byte slice 相互轉換上優化了兩點,避免了額外的記憶體分配:

  • map[string] 中查詢 key 時,使用了對應的 []byte,避免做 m[string(key)] 的記憶體分配
  • 使用 for range 迭代 string 轉換為 []byte 的迭代:for i,v := range []byte(str) {...}

霧:參考原文

18. string 與索引操作符

對字串用索引訪問返回的不是字元,而是一個 byte 值。

這種處理方式和其他語言一樣,比如 PHP 中:

> php -r '$name="中文"; var_dump($name);'	# "中文" 佔用 6 個位元組
string(6) "中文"

> php -r '$name="中文"; var_dump($name[0]);' # 把第一個位元組當做 Unicode 字元讀取,顯示 U+FFFD
string(1) "�"	

> php -r '$name="中文"; var_dump($name[0].$name[1].$name[2]);'
string(3) "中"
複製程式碼
func main() {
	x := "ascii"
	fmt.Println(x[0])		// 97
	fmt.Printf("%T\n", x[0])// uint8
}
複製程式碼

如果需要使用 for range 迭代訪問字串中的字元(unicode code point / rune),標準庫中有 "unicode/utf8" 包來做 UTF8 的相關解碼編碼。另外 utf8string 也有像 func (s *String) At(i int) rune 等很方便的庫函式。

19. 字串並不都是 UTF8 文字

string 的值不必是 UTF8 文字,可以包含任意的值。只有字串是文字字面值時才是 UTF8 文字,字串可以通過轉義來包含其他資料。

判斷字串是否是 UTF8 文字,可使用 "unicode/utf8" 包中的 ValidString() 函式:

func main() {
	str1 := "ABC"
	fmt.Println(utf8.ValidString(str1))	// true

	str2 := "A\xfeC"
	fmt.Println(utf8.ValidString(str2))	// false

	str3 := "A\\xfeC"
	fmt.Println(utf8.ValidString(str3))	// true	// 把轉義字元轉義成字面值
}
複製程式碼

20. 字串的長度

在 Python 中:

data = u'♥'  
print(len(data)) # 1
複製程式碼

然而在 Go 中:

func main() {
	char := "♥"
	fmt.Println(len(char))	// 3
}
複製程式碼

Go 的內建函式 len() 返回的是字串的 byte 數量,而不是像 Python 中那樣是計算 Unicode 字元數。

如果要得到字串的字元數,可使用 "unicode/utf8" 包中的 RuneCountInString(str string) (n int)

func main() {
	char := "♥"
	fmt.Println(utf8.RuneCountInString(char))	// 1
}
複製程式碼

注意: RuneCountInString 並不總是返回我們看到的字元數,因為有的字元會佔用 2 個 rune:

func main() {
	char := "é"
	fmt.Println(len(char))	// 3
	fmt.Println(utf8.RuneCountInString(char))	// 2
	fmt.Println("cafe\u0301")	// café	// 法文的 cafe,實際上是兩個 rune 的組合
}
複製程式碼

參考:normalization

21. 在多行 array、slice、map 語句中缺少 ,

func main() {
	x := []int {
		1,
		2	// syntax error: unexpected newline, expecting comma or }
	}
	y := []int{1,2,}	
	z := []int{1,2}	
	// ...
}
複製程式碼

宣告語句中 } 摺疊到單行後,尾部的 , 不是必需的。

22. log.Fatallog.Panic 不只是 log

log 標準庫提供了不同的日誌記錄等級,與其他語言的日誌庫不同,Go 的 log 包在呼叫 Fatal*()Panic*() 時能做更多日誌外的事,如中斷程式的執行等:

func main() {
	log.Fatal("Fatal level log: log entry")		// 輸出資訊後,程式終止執行
	log.Println("Nomal level log: log entry")
}
複製程式碼

23. 對內建資料結構的操作並不是同步的

儘管 Go 本身有大量的特性來支援併發,但並不保證併發的資料安全,使用者需自己保證變數等資料以原子操作更新。

goroutine 和 channel 是進行原子操作的好方法,或使用 "sync" 包中的鎖。

24. range 迭代 string 得到的值

range 得到的索引是字元值(Unicode point / rune)第一個位元組的位置,與其他程式語言不同,這個索引並不直接是字元在字串中的位置。

注意一個字元可能佔多個 rune,比如法文單詞 café 中的 é。操作特殊字元可使用norm 包。

for range 迭代會嘗試將 string 翻譯為 UTF8 文字,對任何無效的碼點都直接使用 0XFFFD rune(�)UNicode 替代字元來表示。如果 string 中有任何非 UTF8 的資料,應將 string 儲存為 byte slice 再進行操作。

func main() {
	data := "A\xfe\x02\xff\x04"
	for _, v := range data {
		fmt.Printf("%#x ", v)	// 0x41 0xfffd 0x2 0xfffd 0x4	// 錯誤
	}

	for _, v := range []byte(data) {
		fmt.Printf("%#x ", v)	// 0x41 0xfe 0x2 0xff 0x4	// 正確
	}
}
複製程式碼

25. range 迭代 map

如果你希望以特定的順序(如按 key 排序)來迭代 map,要注意每次迭代都可能產生不一樣的結果。

Go 的執行時是有意打亂迭代順序的,所以你得到的迭代結果可能不一致。但也並不總會打亂,得到連續相同的 5 個迭代結果也是可能的,如:

func main() {
	m := map[string]int{"one": 1, "two": 2, "three": 3, "four": 4}
	for k, v := range m {
		fmt.Println(k, v)
	}
}
複製程式碼

如果你去 Go Playground 重複執行上邊的程式碼,輸出是不會變的,只有你更新程式碼它才會重新編譯。重新編譯後迭代順序是被打亂的:

image

26. switch 中的 fallthrough 語句

switch 語句中的 case 程式碼塊會預設帶上 break,但可以使用 fallthrough 來強制執行下一個 case 程式碼塊。

func main() {
	isSpace := func(char byte) bool {
		switch char {
		case ' ':	// 空格符會直接 break,返回 false // 和其他語言不一樣
		// fallthrough	// 返回 true
		case '\t':
			return true
		}
		return false
	}
	fmt.Println(isSpace('\t'))	// true
	fmt.Println(isSpace(' '))	// false
}
複製程式碼

不過你可以在 case 程式碼塊末尾使用 fallthrough,強制執行下一個 case 程式碼塊。

也可以改寫 case 為多條件判斷:

func main() {
	isSpace := func(char byte) bool {
		switch char {
		case ' ', '\t':
			return true
		}
		return false
	}
	fmt.Println(isSpace('\t'))	// true
	fmt.Println(isSpace(' '))	// true
}
複製程式碼

27. 自增和自減運算

很多程式語言都自帶前置後置的 ++-- 運算。但 Go 特立獨行,去掉了前置操作,同時 ++ 只作為運算子而非表示式。

// 錯誤示例
func main() {
	data := []int{1, 2, 3}
	i := 0
	++i			// syntax error: unexpected ++, expecting }
	fmt.Println(data[i++])	// syntax error: unexpected ++, expecting :
}


// 正確示例
func main() {
	data := []int{1, 2, 3}
	i := 0
	i++
	fmt.Println(data[i])	// 2
}
複製程式碼

28. 按位取反

很多程式語言使用 ~ 作為一元按位取反(NOT)操作符,Go 重用 ^ XOR 操作符來按位取反:

// 錯誤的取反操作
func main() {
	fmt.Println(~2)		// bitwise complement operator is ^
}


// 正確示例
func main() {
	var d uint8 = 2
	fmt.Printf("%08b\n", d)		// 00000010
	fmt.Printf("%08b\n", ^d)	// 11111101
}
複製程式碼

同時 ^ 也是按位異或(XOR)操作符。

一個操作符能重用兩次,是因為一元的 NOT 操作 NOT 0x02,與二元的 XOR 操作 0x22 XOR 0xff 是一致的。

Go 也有特殊的操作符 AND NOT &^ 操作符,不同位才取1。

func main() {
	var a uint8 = 0x82
	var b uint8 = 0x02
	fmt.Printf("%08b [A]\n", a)
	fmt.Printf("%08b [B]\n", b)

	fmt.Printf("%08b (NOT B)\n", ^b)
	fmt.Printf("%08b ^ %08b = %08b [B XOR 0xff]\n", b, 0xff, b^0xff)

	fmt.Printf("%08b ^ %08b = %08b [A XOR B]\n", a, b, a^b)
	fmt.Printf("%08b & %08b = %08b [A AND B]\n", a, b, a&b)
	fmt.Printf("%08b &^%08b = %08b [A 'AND NOT' B]\n", a, b, a&^b)
	fmt.Printf("%08b&(^%08b)= %08b [A AND (NOT B)]\n", a, b, a&(^b))
}
複製程式碼
10000010 [A]
00000010 [B]
11111101 (NOT B)
00000010 ^ 11111111 = 11111101 [B XOR 0xff]
10000010 ^ 00000010 = 10000000 [A XOR B]
10000010 & 00000010 = 00000010 [A AND B]
10000010 &^00000010 = 10000000 [A 'AND NOT' B]
10000010&(^00000010)= 10000000 [A AND (NOT B)]
複製程式碼

29. 運算子的優先順序

除了位清除(bit clear)操作符,Go 也有很多和其他語言一樣的位操作符,但優先順序另當別論。

func main() {
	fmt.Printf("0x2 & 0x2 + 0x4 -> %#x\n", 0x2&0x2+0x4)	// & 優先 +
	//prints: 0x2 & 0x2 + 0x4 -> 0x6
	//Go:    (0x2 & 0x2) + 0x4
	//C++:    0x2 & (0x2 + 0x4) -> 0x2

	fmt.Printf("0x2 + 0x2 << 0x1 -> %#x\n", 0x2+0x2<<0x1)	// << 優先 +
	//prints: 0x2 + 0x2 << 0x1 -> 0x6
	//Go:     0x2 + (0x2 << 0x1)
	//C++:   (0x2 + 0x2) << 0x1 -> 0x8

	fmt.Printf("0xf | 0x2 ^ 0x2 -> %#x\n", 0xf|0x2^0x2)	// | 優先 ^
	//prints: 0xf | 0x2 ^ 0x2 -> 0xd
	//Go:    (0xf | 0x2) ^ 0x2
	//C++:    0xf | (0x2 ^ 0x2) -> 0xf
}
複製程式碼

優先順序列表:

Precedence    Operator
    5             *  /  %  <<  >>  &  &^
    4             +  -  |  ^
    3             ==  !=  <  <=  >  >=
    2             &&
    1             ||
複製程式碼

30. 不匯出的 struct 欄位無法被 encode

以小寫字母開頭的欄位成員是無法被外部直接訪問的,所以 struct 在進行 json、xml、gob 等格式的 encode 操作時,這些私有欄位會被忽略,匯出時得到零值:

func main() {
	in := MyData{1, "two"}
	fmt.Printf("%#v\n", in)	// main.MyData{One:1, two:"two"}

	encoded, _ := json.Marshal(in)
	fmt.Println(string(encoded))	// {"One":1}	// 私有欄位 two 被忽略了

	var out MyData
	json.Unmarshal(encoded, &out)
	fmt.Printf("%#v\n", out) 	// main.MyData{One:1, two:""}
}
複製程式碼

31. 程式退出時還有 goroutine 在執行

程式預設不等所有 goroutine 都執行完才退出,這點需要特別注意:

// 主程式會直接退出
func main() {
	workerCount := 2
	for i := 0; i < workerCount; i++ {
		go doIt(i)
	}
	time.Sleep(1 * time.Second)
	fmt.Println("all done!")
}

func doIt(workerID int) {
	fmt.Printf("[%v] is running\n", workerID)
	time.Sleep(3 * time.Second)		// 模擬 goroutine 正在執行 
	fmt.Printf("[%v] is done\n", workerID)
}
複製程式碼

如下,main() 主程式不等兩個 goroutine 執行完就直接退出了:

image

常用解決辦法:使用 "WaitGroup" 變數,它會讓主程式等待所有 goroutine 執行完畢再退出。

如果你的 goroutine 要做訊息的迴圈處理等耗時操作,可以向它們傳送一條 kill 訊息來關閉它們。或直接關閉一個它們都等待接收資料的 channel:

// 等待所有 goroutine 執行完畢
// 進入死鎖
func main() {
	var wg sync.WaitGroup
	done := make(chan struct{})

	workerCount := 2
	for i := 0; i < workerCount; i++ {
		wg.Add(1)
		go doIt(i, done, wg)
	}

	close(done)
	wg.Wait()
	fmt.Println("all done!")
}

func doIt(workerID int, done <-chan struct{}, wg sync.WaitGroup) {
	fmt.Printf("[%v] is running\n", workerID)
	defer wg.Done()
	<-done
	fmt.Printf("[%v] is done\n", workerID)
}
複製程式碼

執行結果:

image

看起來好像 goroutine 都執行完了,然而報錯:

fatal error: all goroutines are asleep - deadlock!

為什麼會發生死鎖?goroutine 在退出前呼叫了 wg.Done() ,程式應該正常退出的。

原因是 goroutine 得到的 "WaitGroup" 變數是 var wg WaitGroup 的一份拷貝值,即 doIt() 傳參只傳值。所以哪怕在每個 goroutine 中都呼叫了 wg.Done(), 主程式中的 wg 變數並不會受到影響。

// 等待所有 goroutine 執行完畢
// 使用傳址方式為 WaitGroup 變數傳參
// 使用 channel 關閉 goroutine

func main() {
	var wg sync.WaitGroup
	done := make(chan struct{})
	ch := make(chan interface{})

	workerCount := 2
	for i := 0; i < workerCount; i++ {
		wg.Add(1)
        go doIt(i, ch, done, &wg)	// wg 傳指標,doIt() 內部會改變 wg 的值
	}

	for i := 0; i < workerCount; i++ {	// 向 ch 中傳送資料,關閉 goroutine
		ch <- i
	}

	close(done)
	wg.Wait()
	close(ch)
	fmt.Println("all done!")
}

func doIt(workerID int, ch <-chan interface{}, done <-chan struct{}, wg *sync.WaitGroup) {
	fmt.Printf("[%v] is running\n", workerID)
	defer wg.Done()
	for {
		select {
		case m := <-ch:
			fmt.Printf("[%v] m => %v\n", workerID, m)
		case <-done:
			fmt.Printf("[%v] is done\n", workerID)
			return
		}
	}
}
複製程式碼

執行效果:

image

32. 向無緩衝的 channel 傳送資料,只要 receiver 準備好了就會立刻返回

只有在資料被 receiver 處理時,sender 才會阻塞。因執行環境而異,在 sender 傳送完資料後,receiver 的 goroutine 可能沒有足夠的時間處理下一個資料。如:

func main() {
	ch := make(chan string)

	go func() {
		for m := range ch {
			fmt.Println("Processed:", m)
			time.Sleep(1 * time.Second)	// 模擬需要長時間執行的操作
		}
	}()

	ch <- "cmd.1"
	ch <- "cmd.2" // 不會被接收處理
}
複製程式碼

執行效果:

image

33. 向已關閉的 channel 傳送資料會造成 panic

從已關閉的 channel 接收資料是安全的:

接收狀態值 okfalse 時表明 channel 中已沒有資料可以接收了。類似的,從有緩衝的 channel 中接收資料,快取的資料獲取完再沒有資料可取時,狀態值也是 false

向已關閉的 channel 中傳送資料會造成 panic:

func main() {
	ch := make(chan int)
	for i := 0; i < 3; i++ {
		go func(idx int) {
			ch <- idx
		}(i)
	}

	fmt.Println(<-ch)		// 輸出第一個傳送的值
	close(ch)			// 不能關閉,還有其他的 sender
	time.Sleep(2 * time.Second)	// 模擬做其他的操作
}
複製程式碼

執行結果:

image

針對上邊有 bug 的這個例子,可使用一個廢棄 channel done 來告訴剩餘的 goroutine 無需再向 ch 傳送資料。此時 <- done 的結果是 {}

func main() {
	ch := make(chan int)
	done := make(chan struct{})

	for i := 0; i < 3; i++ {
		go func(idx int) {
			select {
			case ch <- (idx + 1) * 2:
				fmt.Println(idx, "Send result")
			case <-done:
				fmt.Println(idx, "Exiting")
			}
		}(i)
	}

	fmt.Println("Result: ", <-ch)
	close(done)
	time.Sleep(3 * time.Second)
}
複製程式碼

執行效果:

image

34. 使用了值為 nil 的 channel

在一個值為 nil 的 channel 上傳送和接收資料將永久阻塞:

func main() {
	var ch chan int // 未初始化,值為 nil
	for i := 0; i < 3; i++ {
		go func(i int) {
			ch <- i
		}(i)
	}

	fmt.Println("Result: ", <-ch)
	time.Sleep(2 * time.Second)
}
複製程式碼

runtime 死鎖錯誤:

fatal error: all goroutines are asleep - deadlock! goroutine 1 [chan receive (nil chan)]

利用這個死鎖的特性,可以用在 select 中動態的開啟和關閉 case 語句塊:

func main() {
	inCh := make(chan int)
	outCh := make(chan int)

	go func() {
		var in <-chan int = inCh
		var out chan<- int
		var val int

		for {
			select {
			case out <- val:
				println("--------")
				out = nil
				in = inCh
			case val = <-in:
				println("++++++++++")
				out = outCh
				in = nil
			}
		}
	}()

	go func() {
		for r := range outCh {
			fmt.Println("Result: ", r)
		}
	}()

	time.Sleep(0)
	inCh <- 1
	inCh <- 2
	time.Sleep(3 * time.Second)
}
複製程式碼

執行效果:

image

34. 若函式 receiver 傳參是傳值方式,則無法修改引數的原有值

方法 receiver 的引數與一般函式的引數類似:如果宣告為值,那方法體得到的是一份引數的值拷貝,此時對引數的任何修改都不會對原有值產生影響。

除非 receiver 引數是 map 或 slice 型別的變數,並且是以指標方式更新 map 中的欄位、slice 中的元素的,才會更新原有值:

type data struct {
	num   int
	key   *string
	items map[string]bool
}

func (this *data) pointerFunc() {
	this.num = 7
}

func (this data) valueFunc() {
	this.num = 8
	*this.key = "valueFunc.key"
	this.items["valueFunc"] = true
}

func main() {
	key := "key1"

	d := data{1, &key, make(map[string]bool)}
	fmt.Printf("num=%v  key=%v  items=%v\n", d.num, *d.key, d.items)

	d.pointerFunc()	// 修改 num 的值為 7
	fmt.Printf("num=%v  key=%v  items=%v\n", d.num, *d.key, d.items)

	d.valueFunc()	// 修改 key 和 items 的值
	fmt.Printf("num=%v  key=%v  items=%v\n", d.num, *d.key, d.items)
}
複製程式碼

執行結果:

image

中級篇:35-50

35. 關閉 HTTP 的響應體

使用 HTTP 標準庫發起請求、獲取響應時,即使你不從響應中讀取任何資料或響應為空,都需要手動關閉響應體。新手很容易忘記手動關閉,或者寫在了錯誤的位置:

// 請求失敗造成 panic
func main() {
	resp, err := http.Get("https://api.ipify.org?format=json")
	defer resp.Body.Close()	// resp 可能為 nil,不能讀取 Body
	if err != nil {
		fmt.Println(err)
		return
	}

	body, err := ioutil.ReadAll(resp.Body)
    checkError(err)

	fmt.Println(string(body))
}

func checkError(err error) {
	if err != nil{
		log.Fatalln(err)
	}
}
複製程式碼

上邊的程式碼能正確發起請求,但是一旦請求失敗,變數 resp 值為 nil,造成 panic:

panic: runtime error: invalid memory address or nil pointer dereference

應該先檢查 HTTP 響應錯誤為 nil,再呼叫 resp.Body.Close() 來關閉響應體:

// 大多數情況正確的示例
func main() {
	resp, err := http.Get("https://api.ipify.org?format=json")
	checkError(err)
    
	defer resp.Body.Close()	// 絕大多數情況下的正確關閉方式
	body, err := ioutil.ReadAll(resp.Body)
	checkError(err)

	fmt.Println(string(body))
}
複製程式碼

輸出:

Get api.ipify.org?format=json: x509: certificate signed by unknown authority

絕大多數請求失敗的情況下,resp 的值為 nilerrnon-nil。但如果你得到的是重定向錯誤,那它倆的值都是 non-nil,最後依舊可能發生記憶體洩露。2 個解決辦法:

  • 可以直接在處理 HTTP 響應錯誤的程式碼塊中,直接關閉非 nil 的響應體。
  • 手動呼叫 defer 來關閉響應體:
// 正確示例
func main() {
	resp, err := http.Get("http://www.baidu.com")
	
    // 關閉 resp.Body 的正確姿勢
    if resp != nil {
		defer resp.Body.Close()
	}

	checkError(err)

	body, err := ioutil.ReadAll(resp.Body)
	checkError(err)

	fmt.Println(string(body))
}
複製程式碼

resp.Body.Close() 早先版本的實現是讀取響應體的資料之後丟棄,保證了 keep-alive 的 HTTP 連線能重用處理不止一個請求。但 Go 的最新版本將讀取並丟棄資料的任務交給了使用者,如果你不處理,HTTP 連線可能會直接關閉而非重用,參考在 Go 1.5 版本文件。

如果程式大量重用 HTTP 長連線,你可能要在處理響應的邏輯程式碼中加入:

_, err = io.Copy(ioutil.Discard, resp.Body)	// 手動丟棄讀取完畢的資料
複製程式碼

如果你需要完整讀取響應,上邊的程式碼是需要寫的。比如在解碼 API 的 JSON 響應資料:

json.NewDecoder(resp.Body).Decode(&data)  
複製程式碼

36. 關閉 HTTP 連線

一些支援 HTTP1.1 或 HTTP1.0 配置了 connection: keep-alive 選項的伺服器會保持一段時間的長連線。但標準庫 "net/http" 的連線預設只在伺服器主動要求關閉時才斷開,所以你的程式可能會消耗完 socket 描述符。解決辦法有 2 個,請求結束後:

  • 直接設定請求變數的 Close 欄位值為 true,每次請求結束後就會主動關閉連線。
  • 設定 Header 請求頭部選項 Connection: close,然後伺服器返回的響應頭部也會有這個選項,此時 HTTP 標準庫會主動斷開連線。
// 主動關閉連線
func main() {
	req, err := http.NewRequest("GET", "http://golang.org", nil)
	checkError(err)

	req.Close = true
	//req.Header.Add("Connection", "close")	// 等效的關閉方式

	resp, err := http.DefaultClient.Do(req)
	if resp != nil {
		defer resp.Body.Close()
	}
	checkError(err)

	body, err := ioutil.ReadAll(resp.Body)
	checkError(err)

	fmt.Println(string(body))
}
複製程式碼

你可以建立一個自定義配置的 HTTP transport 客戶端,用來取消 HTTP 全域性的複用連線:

func main() {
	tr := http.Transport{DisableKeepAlives: true}
	client := http.Client{Transport: &tr}

	resp, err := client.Get("https://golang.google.cn/")
	if resp != nil {
		defer resp.Body.Close()
	}
	checkError(err)

	fmt.Println(resp.StatusCode)	// 200

	body, err := ioutil.ReadAll(resp.Body)
	checkError(err)

	fmt.Println(len(string(body)))
}
複製程式碼

根據需求選擇使用場景:

  • 若你的程式要向同一伺服器發大量請求,使用預設的保持長連線。

  • 若你的程式要連線大量的伺服器,且每臺伺服器只請求一兩次,那收到請求後直接關閉連線。或增加最大檔案開啟數 fs.file-max 的值。

37. 將 JSON 中的數字解碼為 interface 型別

在 encode/decode JSON 資料時,Go 預設會將數值當做 float64 處理,比如下邊的程式碼會造成 panic:

func main() {
	var data = []byte(`{"status": 200}`)
	var result map[string]interface{}

	if err := json.Unmarshal(data, &result); err != nil {
		log.Fatalln(err)
	}

	fmt.Printf("%T\n", result["status"])	// float64
	var status = result["status"].(int)	// 型別斷言錯誤
	fmt.Println("Status value: ", status)
}
複製程式碼

panic: interface conversion: interface {} is float64, not int

如果你嘗試 decode 的 JSON 欄位是整型,你可以:

  • 將 int 值轉為 float 統一使用

  • 將 decode 後需要的 float 值轉為 int 使用

// 將 decode 的值轉為 int 使用
func main() {
    var data = []byte(`{"status": 200}`)
    var result map[string]interface{}

    if err := json.Unmarshal(data, &result); err != nil {
        log.Fatalln(err)
    }

    var status = uint64(result["status"].(float64))
    fmt.Println("Status value: ", status)
}
複製程式碼
  • 使用 Decoder 型別來 decode JSON 資料,明確表示欄位的值型別
// 指定欄位型別
func main() {
	var data = []byte(`{"status": 200}`)
	var result map[string]interface{}
    
	var decoder = json.NewDecoder(bytes.NewReader(data))
	decoder.UseNumber()

	if err := decoder.Decode(&result); err != nil {
		log.Fatalln(err)
	}

	var status, _ = result["status"].(json.Number).Int64()
	fmt.Println("Status value: ", status)
}

 // 你可以使用 string 來儲存數值資料,在 decode 時再決定按 int 還是 float 使用
 // 將資料轉為 decode 為 string
 func main() {
 	var data = []byte({"status": 200})
  	var result map[string]interface{}
  	var decoder = json.NewDecoder(bytes.NewReader(data))
  	decoder.UseNumber()
  	if err := decoder.Decode(&result); err != nil {
  		log.Fatalln(err)
  	}
    var status uint64
  	err := json.Unmarshal([]byte(result["status"].(json.Number).String()), &status);
	checkError(err)
   	fmt.Println("Status value: ", status)
}
複製程式碼

​- 使用 struct 型別將你需要的資料對映為數值型

// struct 中指定欄位型別
func main() {
  	var data = []byte(`{"status": 200}`)
  	var result struct {
  		Status uint64 `json:"status"`
  	}

  	err := json.NewDecoder(bytes.NewReader(data)).Decode(&result)
  	checkError(err)
	fmt.Printf("Result: %+v", result)
}
複製程式碼
  • 可以使用 struct 將數值型別對映為 json.RawMessage 原生資料型別

    適用於如果 JSON 資料不著急 decode 或 JSON 某個欄位的值型別不固定等情況:

// 狀態名稱可能是 int 也可能是 string,指定為 json.RawMessage 型別
func main() {
	records := [][]byte{
		[]byte(`{"status":200, "tag":"one"}`),
		[]byte(`{"status":"ok", "tag":"two"}`),
	}

	for idx, record := range records {
		var result struct {
			StatusCode uint64
			StatusName string
			Status     json.RawMessage `json:"status"`
			Tag        string          `json:"tag"`
		}

		err := json.NewDecoder(bytes.NewReader(record)).Decode(&result)
		checkError(err)

		var name string
		err = json.Unmarshal(result.Status, &name)
		if err == nil {
			result.StatusName = name
		}

		var code uint64
		err = json.Unmarshal(result.Status, &code)
		if err == nil {
			result.StatusCode = code
		}

		fmt.Printf("[%v] result => %+v\n", idx, result)
	}
}
複製程式碼

38. struct、array、slice 和 map 的值比較

可以使用相等運算子 == 來比較結構體變數,前提是兩個結構體的成員都是可比較的型別:

type data struct {
	num     int
	fp      float32
	complex complex64
	str     string
	char    rune
	yes     bool
	events  <-chan string
	handler interface{}
	ref     *byte
	raw     [10]byte
}

func main() {
	v1 := data{}
	v2 := data{}
	fmt.Println("v1 == v2: ", v1 == v2)	// true
}
複製程式碼

如果兩個結構體中有任意成員是不可比較的,將會造成編譯錯誤。注意陣列成員只有在陣列元素可比較時候才可比較。

type data struct {
	num    int
	checks [10]func() bool		// 無法比較
	doIt   func() bool		// 無法比較
	m      map[string]string	// 無法比較
	bytes  []byte			// 無法比較
}

func main() {
	v1 := data{}
	v2 := data{}

	fmt.Println("v1 == v2: ", v1 == v2)
}
複製程式碼

invalid operation: v1 == v2 (struct containing [10]func() bool cannot be compared)

Go 提供了一些庫函式來比較那些無法使用 == 比較的變數,比如使用 "reflect" 包的 DeepEqual()

// 比較相等運算子無法比較的元素
func main() {
	v1 := data{}
	v2 := data{}
	fmt.Println("v1 == v2: ", reflect.DeepEqual(v1, v2))	// true

	m1 := map[string]string{"one": "a", "two": "b"}
	m2 := map[string]string{"two": "b", "one": "a"}
	fmt.Println("v1 == v2: ", reflect.DeepEqual(m1, m2))	// true

	s1 := []int{1, 2, 3}
	s2 := []int{1, 2, 3}
   	// 注意兩個 slice 相等,值和順序必須一致
	fmt.Println("v1 == v2: ", reflect.DeepEqual(s1, s2))	// true
}
複製程式碼

這種比較方式可能比較慢,根據你的程式需求來使用。DeepEqual() 還有其他用法:

func main() {
	var b1 []byte = nil
	b2 := []byte{}
	fmt.Println("b1 == b2: ", reflect.DeepEqual(b1, b2))	// false
}
複製程式碼

注意:

  • DeepEqual() 並不總適合於比較 slice
func main() {
	var str = "one"
	var in interface{} = "one"
	fmt.Println("str == in: ", reflect.DeepEqual(str, in))	// true

	v1 := []string{"one", "two"}
	v2 := []string{"two", "one"}
	fmt.Println("v1 == v2: ", reflect.DeepEqual(v1, v2))	// false

	data := map[string]interface{}{
		"code":  200,
		"value": []string{"one", "two"},
	}
	encoded, _ := json.Marshal(data)
	var decoded map[string]interface{}
	json.Unmarshal(encoded, &decoded)
	fmt.Println("data == decoded: ", reflect.DeepEqual(data, decoded))	// false
}
複製程式碼

如果要大小寫不敏感來比較 byte 或 string 中的英文文字,可以使用 "bytes" 或 "strings" 包的 ToUpper()ToLower() 函式。比較其他語言的 byte 或 string,應使用 bytes.EqualFold()strings.EqualFold()

如果 byte slice 中含有驗證使用者身份的資料(密文雜湊、token 等),不應再使用 reflect.DeepEqual()bytes.Equal()bytes.Compare()。這三個函式容易對程式造成 timing attacks,此時應使用 "crypto/subtle" 包中的 subtle.ConstantTimeCompare() 等函式

  • reflect.DeepEqual() 認為空 slice 與 nil slice 並不相等,但注意 byte.Equal() 會認為二者相等:
func main() {
	var b1 []byte = nil
	b2 := []byte{}

    // b1 與 b2 長度相等、有相同的位元組序
    // nil 與 slice 在位元組上是相同的
    fmt.Println("b1 == b2: ", bytes.Equal(b1, b2))	// true
}
複製程式碼

39. 從 panic 中恢復

在一個 defer 延遲執行的函式中呼叫 recover() ,它便能捕捉 / 中斷 panic

// 錯誤的 recover 呼叫示例
func main() {
	recover()	// 什麼都不會捕捉
	panic("not good")	// 發生 panic,主程式退出
	recover()	// 不會被執行
	println("ok")
}

// 正確的 recover 呼叫示例
func main() {
	defer func() {
		fmt.Println("recovered: ", recover())
	}()
	panic("not good")
}
複製程式碼

從上邊可以看出,recover() 僅在 defer 執行的函式中呼叫才會生效。

// 錯誤的呼叫示例
func main() {
	defer func() {
		doRecover()
	}()
	panic("not good")
}

func doRecover() {
	fmt.Println("recobered: ", recover())
}
複製程式碼

recobered: panic: not good

40. 在 range 迭代 slice、array、map 時通過更新引用來更新元素

在 range 迭代中,得到的值其實是元素的一份值拷貝,更新拷貝並不會更改原來的元素,即是拷貝的地址並不是原有元素的地址:

func main() {
	data := []int{1, 2, 3}
	for _, v := range data {
		v *= 10		// data 中原有元素是不會被修改的
	}
	fmt.Println("data: ", data)	// data:  [1 2 3]
}
複製程式碼

如果要修改原有元素的值,應該使用索引直接訪問:

func main() {
	data := []int{1, 2, 3}
	for i, v := range data {
		data[i] = v * 10	
	}
	fmt.Println("data: ", data)	// data:  [10 20 30]
}
複製程式碼

如果你的集合儲存的是指向值的指標,需稍作修改。依舊需要使用索引訪問元素,不過可以使用 range 出來的元素直接更新原有值:

func main() {
	data := []*struct{ num int }{{1}, {2}, {3},}
	for _, v := range data {
		v.num *= 10	// 直接使用指標更新
	}
	fmt.Println(data[0], data[1], data[2])	// &{10} &{20} &{30}
}
複製程式碼

41. slice 中隱藏的資料

從 slice 中重新切出新 slice 時,新 slice 會引用原 slice 的底層陣列。如果跳了這個坑,程式可能會分配大量的臨時 slice 來指向原底層陣列的部分資料,將導致難以預料的記憶體使用。

func get() []byte {
	raw := make([]byte, 10000)
	fmt.Println(len(raw), cap(raw), &raw[0])	// 10000 10000 0xc420080000
	return raw[:3]	// 重新分配容量為 10000 的 slice
}

func main() {
	data := get()
	fmt.Println(len(data), cap(data), &data[0])	// 3 10000 0xc420080000
}
複製程式碼

可以通過拷貝臨時 slice 的資料,而不是重新切片來解決:

func get() (res []byte) {
	raw := make([]byte, 10000)
	fmt.Println(len(raw), cap(raw), &raw[0])	// 10000 10000 0xc420080000
	res = make([]byte, 3)
	copy(res, raw[:3])
	return
}

func main() {
	data := get()
	fmt.Println(len(data), cap(data), &data[0])	// 3 3 0xc4200160b8
}
複製程式碼

42. Slice 中資料的誤用

舉個簡單例子,重寫檔案路徑(儲存在 slice 中)

分割路徑來指向每個不同級的目錄,修改第一個目錄名再重組子目錄名,建立新路徑:

// 錯誤使用 slice 的拼接示例
func main() {
	path := []byte("AAAA/BBBBBBBBB")
	sepIndex := bytes.IndexByte(path, '/') // 4
	println(sepIndex)

	dir1 := path[:sepIndex]
	dir2 := path[sepIndex+1:]
	println("dir1: ", string(dir1))		// AAAA
	println("dir2: ", string(dir2))		// BBBBBBBBB

	dir1 = append(dir1, "suffix"...)
   	println("current path: ", string(path))	// AAAAsuffixBBBB
    
	path = bytes.Join([][]byte{dir1, dir2}, []byte{'/'})
	println("dir1: ", string(dir1))		// AAAAsuffix
	println("dir2: ", string(dir2))		// uffixBBBB

	println("new path: ", string(path))	// AAAAsuffix/uffixBBBB	// 錯誤結果
}
複製程式碼

拼接的結果不是正確的 AAAAsuffix/BBBBBBBBB,因為 dir1、 dir2 兩個 slice 引用的資料都是 path 的底層陣列,第 13 行修改 dir1 同時也修改了 path,也導致了 dir2 的修改

解決方法:

  • 重新分配新的 slice 並拷貝你需要的資料
  • 使用完整的 slice 表示式:input[low:high:max],容量便調整為 max - low
// 使用 full slice expression
func main() {

	path := []byte("AAAA/BBBBBBBBB")
	sepIndex := bytes.IndexByte(path, '/') // 4
    dir1 := path[:sepIndex:sepIndex]		// 此時 cap(dir1) 指定為4, 而不是先前的 16
	dir2 := path[sepIndex+1:]
	dir1 = append(dir1, "suffix"...)

	path = bytes.Join([][]byte{dir1, dir2}, []byte{'/'})
	println("dir1: ", string(dir1))		// AAAAsuffix
	println("dir2: ", string(dir2))		// BBBBBBBBB
	println("new path: ", string(path))	// AAAAsuffix/BBBBBBBBB
}
複製程式碼

第 6 行中第三個引數是用來控制 dir1 的新容量,再往 dir1 中 append 超額元素時,將分配新的 buffer 來儲存。而不是覆蓋原來的 path 底層陣列

43. 舊 slice

當你從一個已存在的 slice 建立新 slice 時,二者的資料指向相同的底層陣列。如果你的程式使用這個特性,那需要注意 "舊"(stale) slice 問題。

某些情況下,向一個 slice 中追加元素而它指向的底層陣列容量不足時,將會重新分配一個新陣列來儲存資料。而其他 slice 還指向原來的舊底層陣列。

// 超過容量將重新分配陣列來拷貝值、重新儲存
func main() {
	s1 := []int{1, 2, 3}
	fmt.Println(len(s1), cap(s1), s1)	// 3 3 [1 2 3 ]

	s2 := s1[1:]
	fmt.Println(len(s2), cap(s2), s2)	// 2 2 [2 3]

	for i := range s2 {
		s2[i] += 20
	}
	// 此時的 s1 與 s2 是指向同一個底層陣列的
	fmt.Println(s1)		// [1 22 23]
	fmt.Println(s2)		// [22 23]

	s2 = append(s2, 4)	// 向容量為 2 的 s2 中再追加元素,此時將分配新陣列來存

	for i := range s2 {
		s2[i] += 10
	}
	fmt.Println(s1)		// [1 22 23]	// 此時的 s1 不再更新,為舊資料
	fmt.Println(s2)		// [32 33 14]
}
複製程式碼

44. 型別宣告與方法

從一個現有的非 interface 型別建立新型別時,並不會繼承原有的方法:

// 定義 Mutex 的自定義型別
type myMutex sync.Mutex

func main() {
	var mtx myMutex
	mtx.Lock()
	mtx.UnLock()
}
複製程式碼

mtx.Lock undefined (type myMutex has no field or method Lock)...

如果你需要使用原型別的方法,可將原型別以匿名欄位的形式嵌到你定義的新 struct 中:

// 型別以欄位形式直接嵌入
type myLocker struct {
	sync.Mutex
}

func main() {
	var locker myLocker
	locker.Lock()
	locker.Unlock()
}
複製程式碼

interface 型別宣告也保留它的方法集:

type myLocker sync.Locker

func main() {
	var locker myLocker
	locker.Lock()
	locker.Unlock()
}
複製程式碼

45. 跳出 for-switch 和 for-select 程式碼塊

沒有指定標籤的 break 只會跳出 switch/select 語句,若不能使用 return 語句跳出的話,可為 break 跳出標籤指定的程式碼塊:

// break 配合 label 跳出指定程式碼塊
func main() {
loop:
	for {
		switch {
		case true:
			fmt.Println("breaking out...")
			//break	// 死迴圈,一直列印 breaking out...
			break loop
		}
	}
	fmt.Println("out...")
}
複製程式碼

goto 雖然也能跳轉到指定位置,但依舊會再次進入 for-switch,死迴圈。

46. for 語句中的迭代變數與閉包函式

for 語句中的迭代變數在每次迭代中都會重用,即 for 中建立的閉包函式接收到的引數始終是同一個變數,在 goroutine 開始執行時都會得到同一個迭代值:

func main() {
	data := []string{"one", "two", "three"}

	for _, v := range data {
		go func() {
			fmt.Println(v)
		}()
	}

	time.Sleep(3 * time.Second)
	// 輸出 three three three
}
複製程式碼

最簡單的解決方法:無需修改 goroutine 函式,在 for 內部使用區域性變數儲存迭代值,再傳參:

func main() {
	data := []string{"one", "two", "three"}

	for _, v := range data {
		vCopy := v
		go func() {
			fmt.Println(vCopy)
		}()
	}

	time.Sleep(3 * time.Second)
	// 輸出 one two three
}
複製程式碼

另一個解決方法:直接將當前的迭代值以引數形式傳遞給匿名函式:

func main() {
	data := []string{"one", "two", "three"}

	for _, v := range data {
		go func(in string) {
			fmt.Println(in)
		}(v)
	}

	time.Sleep(3 * time.Second)
	// 輸出 one two three
}
複製程式碼

注意下邊這個稍複雜的 3 個示例區別:

type field struct {
	name string
}

func (p *field) print() {
	fmt.Println(p.name)
}

// 錯誤示例
func main() {
	data := []field{{"one"}, {"two"}, {"three"}}
	for _, v := range data {
		go v.print()
	}
	time.Sleep(3 * time.Second)
	// 輸出 three three three 
}


// 正確示例
func main() {
	data := []field{{"one"}, {"two"}, {"three"}}
	for _, v := range data {
		v := v
		go v.print()
	}
	time.Sleep(3 * time.Second)
	// 輸出 one two three
}

// 正確示例
func main() {
	data := []*field{{"one"}, {"two"}, {"three"}}
	for _, v := range data {	// 此時迭代值 v 是三個元素值的地址,每次 v 指向的值不同
		go v.print()
	}
	time.Sleep(3 * time.Second)
	// 輸出 one two three
}
複製程式碼

47. defer 函式的引數值

對 defer 延遲執行的函式,它的引數會在宣告時候就會求出具體值,而不是在執行時才求值:

// 在 defer 函式中引數會提前求值
func main() {
	var i = 1
	defer fmt.Println("result: ", func() int { return i * 2 }())
	i++
}
複製程式碼

result: 2

48. defer 函式的執行時機

對 defer 延遲執行的函式,會在呼叫它的函式結束時執行,而不是在呼叫它的語句塊結束時執行,注意區分開。

比如在一個長時間執行的函式裡,內部 for 迴圈中使用 defer 來清理每次迭代產生的資源呼叫,就會出現問題:

// 命令列引數指定目錄名
// 遍歷讀取目錄下的檔案
func main() {

	if len(os.Args) != 2 {
		os.Exit(1)
	}

	dir := os.Args[1]
	start, err := os.Stat(dir)
	if err != nil || !start.IsDir() {
		os.Exit(2)
	}

	var targets []string
	filepath.Walk(dir, func(fPath string, fInfo os.FileInfo, err error) error {
		if err != nil {
			return err
		}

		if !fInfo.Mode().IsRegular() {
			return nil
		}

		targets = append(targets, fPath)
		return nil
	})

	for _, target := range targets {
		f, err := os.Open(target)
		if err != nil {
			fmt.Println("bad target:", target, "error:", err)	//error:too many open files
			break
		}
		defer f.Close()	// 在每次 for 語句塊結束時,不會關閉檔案資源
		
		// 使用 f 資源
	}
}
複製程式碼

先建立 10000 個檔案:

#!/bin/bash
for n in {1..10000}; do
	echo content > "file${n}.txt"
done
複製程式碼

執行效果:

image

解決辦法:defer 延遲執行的函式寫入匿名函式中:

// 目錄遍歷正常
func main() {
    // ...

	for _, target := range targets {
		func() {
			f, err := os.Open(target)
			if err != nil {
				fmt.Println("bad target:", target, "error:", err)
				return	// 在匿名函式內使用 return 代替 break 即可
			}
			defer f.Close()	// 匿名函式執行結束,呼叫關閉檔案資源
			
			// 使用 f 資源
		}()
	}
}
複製程式碼

當然你也可以去掉 defer,在檔案資源使用完畢後,直接呼叫 f.Close() 來關閉。

49. 失敗的型別斷言

在型別斷言語句中,斷言失敗則會返回目標型別的“零值”,斷言變數與原來變數混用可能出現異常情況:

// 錯誤示例
func main() {
	var data interface{} = "great"

    // data 混用
	if data, ok := data.(int); ok {
		fmt.Println("[is an int], data: ", data)
	} else {
		fmt.Println("[not an int], data: ", data)	// [isn't a int], data:  0
	}
}


// 正確示例
func main() {
	var data interface{} = "great"

	if res, ok := data.(int); ok {
		fmt.Println("[is an int], data: ", res)
	} else {
		fmt.Println("[not an int], data: ", data)	// [not an int], data:  great
	}
}
複製程式碼

50. 阻塞的 gorutinue 與資源洩露

在 2012 年 Google I/O 大會上,Rob Pike 的 Go Concurrency Patterns 演講討論 Go 的幾種基本併發模式,如 完整程式碼 中從資料集中獲取第一條資料的函式:

func First(query string, replicas []Search) Result {
	c := make(chan Result)
	replicaSearch := func(i int) { c <- replicas[i](query) }
	for i := range replicas {
		go replicaSearch(i)
	}
	return <-c
}
複製程式碼

在搜尋重複時依舊每次都起一個 goroutine 去處理,每個 goroutine 都把它的搜尋結果傳送到結果 channel 中,channel 中收到的第一條資料會直接返回。

返回完第一條資料後,其他 goroutine 的搜尋結果怎麼處理?他們自己的協程如何處理?

First() 中的結果 channel 是無緩衝的,這意味著只有第一個 goroutine 能返回,由於沒有 receiver,其他的 goroutine 會在傳送上一直阻塞。如果你大量呼叫,則可能造成資源洩露。

為避免洩露,你應該確保所有的 goroutine 都能正確退出,有 2 個解決方法:

  • 使用帶緩衝的 channel,確保能接收全部 goroutine 的返回結果:
func First(query string, replicas ...Search) Result {  
    c := make(chan Result,len(replicas))	
    searchReplica := func(i int) { c <- replicas[i](query) }
    for i := range replicas {
        go searchReplica(i)
    }
    return <-c
}
複製程式碼
  • 使用 select 語句,配合能儲存一個緩衝值的 channel default 語句:

    default 的緩衝 channel 保證了即使結果 channel 收不到資料,也不會阻塞 goroutine

func First(query string, replicas ...Search) Result {  
    c := make(chan Result,1)
    searchReplica := func(i int) { 
        select {
        case c <- replicas[i](query):
        default:
        }
    }
    for i := range replicas {
        go searchReplica(i)
    }
    return <-c
}
複製程式碼
  • 使用特殊的廢棄(cancellation) channel 來中斷剩餘 goroutine 的執行:
func First(query string, replicas ...Search) Result {  
    c := make(chan Result)
    done := make(chan struct{})
    defer close(done)
    searchReplica := func(i int) { 
        select {
        case c <- replicas[i](query):
        case <- done:
        }
    }
    for i := range replicas {
        go searchReplica(i)
    }

    return <-c
}
複製程式碼

Rob Pike 為了簡化演示,沒有提及演講程式碼中存在的這些問題。不過對於新手來說,可能會不加思考直接使用。

高階篇:51-57

51. 使用指標作為方法的 receiver

只要值是可定址的,就可以在值上直接呼叫指標方法。即是對一個方法,它的 receiver 是指標就足矣。

但不是所有值都是可定址的,比如 map 型別的元素、通過 interface 引用的變數:

type data struct {
	name string
}

type printer interface {
	print()
}

func (p *data) print() {
	fmt.Println("name: ", p.name)
}

func main() {
	d1 := data{"one"}
	d1.print()	// d1 變數可定址,可直接呼叫指標 receiver 的方法

	var in printer = data{"two"}
	in.print()	// 型別不匹配

	m := map[string]data{
		"x": data{"three"},
	}
	m["x"].print()	// m["x"] 是不可定址的	// 變動頻繁
}
複製程式碼

cannot use data literal (type data) as type printer in assignment:

data does not implement printer (print method has pointer receiver)

cannot call pointer method on m["x"] cannot take the address of m["x"]

52. 更新 map 欄位的值

如果 map 一個欄位的值是 struct 型別,則無法直接更新該 struct 的單個欄位:

// 無法直接更新 struct 的欄位值
type data struct {
	name string
}

func main() {
	m := map[string]data{
		"x": {"Tom"},
	}
	m["x"].name = "Jerry"
}
複製程式碼

cannot assign to struct field m["x"].name in map

因為 map 中的元素是不可定址的。需區分開的是,slice 的元素可定址:

type data struct {
	name string
}

func main() {
	s := []data{{"Tom"}}
	s[0].name = "Jerry"
	fmt.Println(s)	// [{Jerry}]
}
複製程式碼

注意:不久前 gccgo 編譯器可更新 map struct 元素的欄位值,不過很快便修復了,官方認為是 Go1.3 的潛在特性,無需及時實現,依舊在 todo list 中。

更新 map 中 struct 元素的欄位值,有 2 個方法:

  • 使用區域性變數
// 提取整個 struct 到區域性變數中,修改欄位值後再整個賦值
type data struct {
	name string
}

func main() {
	m := map[string]data{
		"x": {"Tom"},
	}
	r := m["x"]
	r.name = "Jerry"
	m["x"] = r
	fmt.Println(m)	// map[x:{Jerry}]
}
複製程式碼
  • 使用指向元素的 map 指標
func main() {
	m := map[string]*data{
		"x": {"Tom"},
	}
	
	m["x"].name = "Jerry"	// 直接修改 m["x"] 中的欄位
	fmt.Println(m["x"])	// &{Jerry}
}
複製程式碼

但是要注意下邊這種誤用:

func main() {
	m := map[string]*data{
		"x": {"Tom"},
	}
	m["z"].name = "what???"	 
	fmt.Println(m["x"])
}
複製程式碼

panic: runtime error: invalid memory address or nil pointer dereference

53. nil interface 和 nil interface 值

雖然 interface 看起來像指標型別,但它不是。interface 型別的變數只有在型別和值均為 nil 時才為 nil

如果你的 interface 變數的值是跟隨其他變數變化的(霧),與 nil 比較相等時小心:

func main() {
	var data *byte
	var in interface{}

	fmt.Println(data, data == nil)	// <nil> true
	fmt.Println(in, in == nil)	// <nil> true

	in = data
	fmt.Println(in, in == nil)	// <nil> false	// data 值為 nil,但 in 值不為 nil
}
複製程式碼

如果你的函式返回值型別是 interface,更要小心這個坑:

// 錯誤示例
func main() {
	doIt := func(arg int) interface{} {
		var result *struct{} = nil
		if arg > 0 {
			result = &struct{}{}
		}
		return result
	}

	if res := doIt(-1); res != nil {
		fmt.Println("Good result: ", res)	// Good result:  <nil>
		fmt.Printf("%T\n", res)			// *struct {}	// res 不是 nil,它的值為 nil
		fmt.Printf("%v\n", res)			// <nil>
	}
}


// 正確示例
func main() {
	doIt := func(arg int) interface{} {
		var result *struct{} = nil
		if arg > 0 {
			result = &struct{}{}
		} else {
			return nil	// 明確指明返回 nil
		}
		return result
	}

	if res := doIt(-1); res != nil {
		fmt.Println("Good result: ", res)
	} else {
		fmt.Println("Bad result: ", res)	// Bad result:  <nil>
	}
}
複製程式碼

54. 堆疊變數

你並不總是清楚你的變數是分配到了堆還是棧。

在 C++ 中使用 new 建立的變數總是分配到堆記憶體上的,但在 Go 中即使使用 new()make() 來建立變數,變數為記憶體分配位置依舊歸 Go 編譯器管。

Go 編譯器會根據變數的大小及其 "escape analysis" 的結果來決定變數的儲存位置,故能準確返回本地變數的地址,這在 C/C++ 中是不行的。

在 go build 或 go run 時,加入 -m 引數,能準確分析程式的變數分配位置:

image

55. GOMAXPROCS、Concurrency(併發)and Parallelism(並行)

Go 1.4 及以下版本,程式只會使用 1 個執行上下文 / OS 執行緒,即任何時間都最多隻有 1 個 goroutine 在執行。

Go 1.5 版本將可執行上下文的數量設定為 runtime.NumCPU() 返回的邏輯 CPU 核心數,這個數與系統實際總的 CPU 邏輯核心數是否一致,取決於你的 CPU 分配給程式的核心數,可以使用 GOMAXPROCS 環境變數或者動態的使用 runtime.GOMAXPROCS() 來調整。

誤區:GOMAXPROCS 表示執行 goroutine 的 CPU 核心數,參考文件

GOMAXPROCS 的值是可以超過 CPU 的實際數量的,在 1.5 中最大為 256

func main() {
	fmt.Println(runtime.GOMAXPROCS(-1))	// 4
	fmt.Println(runtime.NumCPU())	// 4
	runtime.GOMAXPROCS(20)
	fmt.Println(runtime.GOMAXPROCS(-1))	// 20
	runtime.GOMAXPROCS(300)
	fmt.Println(runtime.GOMAXPROCS(-1))	// Go 1.9.2 // 300
}
複製程式碼

56. 讀寫操作的重新排序

Go 可能會重排一些操作的執行順序,可以保證在一個 goroutine 中操作是順序執行的,但不保證多 goroutine 的執行順序:

var _ = runtime.GOMAXPROCS(3)

var a, b int

func u1() {
	a = 1
	b = 2
}

func u2() {
	a = 3
	b = 4
}

func p() {
	println(a)
	println(b)
}

func main() {
	go u1()	// 多個 goroutine 的執行順序不定
	go u2()	
	go p()
	time.Sleep(1 * time.Second)
}
複製程式碼

執行效果:

image

如果你想保持多 goroutine 像程式碼中的那樣順序執行,可以使用 channel 或 sync 包中的鎖機制等。

57. 優先排程

你的程式可能出現一個 goroutine 在執行時阻止了其他 goroutine 的執行,比如程式中有一個不讓排程器執行的 for 迴圈:

func main() {
	done := false

	go func() {
		done = true
	}()

	for !done {
	}

	println("done !")
}
複製程式碼

for 的迴圈體不必為空,但如果程式碼不會觸發排程器執行,將出現問題。

排程器會在 GC、Go 宣告、阻塞 channel、阻塞系統呼叫和鎖操作後再執行,也會在非行內函數呼叫時執行:

func main() {
	done := false

	go func() {
		done = true
	}()

	for !done {
		println("not done !")	// 並不內聯執行
	}

	println("done !")
}
複製程式碼

可以新增 -m 引數來分析 for 程式碼塊中呼叫的行內函數:

image

你也可以使用 runtime 包中的 Gosched() 來 手動啟動排程器:

func main() {
	done := false

	go func() {
		done = true
	}()

	for !done {
		runtime.Gosched()
	}

	println("done !")
}
複製程式碼

執行效果:

image

轉載自github.com/wuYin/blog

本文亦在微信公眾號【小道資訊】釋出,歡迎掃碼關注!

image

相關文章