Go 獲取隨機數是開發中經常會用到的功能, 不過這個裡面還是有一些坑存在的, 本文將完全剖析 Go math/rand, 讓你輕鬆使用 Go Rand.
開篇一問: 你覺得 rand 會 panic 嗎 ?
原始碼剖析
math/rand 原始碼其實很簡單, 就兩個比較重要的函式
func (rng *rngSource) Seed(seed int64) {
rng.tap = 0
rng.feed = rngLen - rngTap
//...
x := int32(seed)
for i := -20; i < rngLen; i++ {
x = seedrand(x)
if i >= 0 {
var u int64
u = int64(x) << 40
x = seedrand(x)
u ^= int64(x) << 20
x = seedrand(x)
u ^= int64(x)
u ^= rngCooked[i]
rng.vec[i] = u
}
}
}
這個函式就是在設定 seed, 其實就是對 rng.vec 各個位置設定對應的值. rng.vec 的大小是 607.
func (rng *rngSource) Uint64() uint64 {
rng.tap--
if rng.tap < 0 {
rng.tap += rngLen
}
rng.feed--
if rng.feed < 0 {
rng.feed += rngLen
}
x := rng.vec[rng.feed] + rng.vec[rng.tap]
rng.vec[rng.feed] = x
return uint64(x)
}
我們在使用不管呼叫 Intn(), Int31n() 等其他函式, 最終呼叫到就是這個函式. 可以看到每次呼叫就是利用 rng.feed rng.tap 從 rng.vec 中取到兩個值相加的結果返回了. 同時還是這個結果又重新放入 rng.vec.
在這裡需要注意使用 rng.go 的 rngSource 時, 由於 rng.vec 在獲取隨機數時會同時設定 rng.vec 的值, 當多 goroutine 同時呼叫時就會有資料競爭問題. math/rand 採用在呼叫 rngSource 時加鎖 sync.Mutex 解決.
func (r *lockedSource) Uint64() (n uint64) {
r.lk.Lock()
n = r.src.Uint64()
r.lk.Unlock()
return
}
另外我們能直接使用 rand.Seed(), rand.Intn(100), 是因為 math/rand 初始化了一個全域性的 globalRand 變數.
var globalRand = New(&lockedSource{src: NewSource(1).(*rngSource)})
func Seed(seed int64) { globalRand.Seed(seed) }
func Uint32() uint32 { return globalRand.Uint32() }
需要注意到由於呼叫 rngSource 加了鎖, 所以直接使用 rand.Int32() 會導致全域性的 goroutine 鎖競爭, 所以在高併發場景時, 當你的程式的效能是卡在這裡的話, 你需要考慮利用 New(&lockedSource{src: NewSource(1).(*rngSource)}) 為不同的模組生成單獨的 rand. 不過根據目前的實踐來看, 使用全域性的 globalRand 鎖競爭並沒有我們想象中那麼激烈. 使用 New 生成新的 rand 裡面是有坑的, 開篇的 panic 就是這麼產生的, 後面具體再說.
種子(seed)到底起什麼作用 ?
func main() {
for i := 0; i < 10; i++ {
fmt.Printf("current:%d\n", time.Now().Unix())
rand.Seed(time.Now().Unix())
fmt.Println(rand.Intn(100))
}
}
結果:
current:1613814632
65
current:1613814632
65
current:1613814632
65
...
這個例子能得出一個結論: 相同種子，每次執行的結果都是一樣的. 這是為什麼呢?
在使用 math/rand 的時候, 一定需要通過呼叫 rand.Seed 來設定種子, 其實就是給 rng.vec 的 607 個槽設定對應的值. 通過上面的原始碼那可以看出來, rand.Seed 會呼叫一個 seedrand 的函式, 來計算對應槽的值.
func seedrand(x int32) int32 {
const (
A = 48271
Q = 44488
R = 3399
)
hi := x / Q
lo := x % Q
x = A*lo - R*hi
if x < 0 {
x += int32max
}
return x
}
這個函式的計算結果並不是隨機的, 而是根據 seed 實際算出來的. 另外這個函式並不是隨便寫的, 是有相關的數學證明的.
這也導致了相同的 seed, 最終設定到 rng.vec裡面的值是相同的, 通過 Intn 取出的也是相同的值
我遇到的那些坑
1. rand panic
文章開頭的截圖就是專案開發中使用別人封裝的底層庫, 在某天出現的 panic. 大概實現的程式碼
// random.go
var (
rrRand = rand.New(rand.NewSource(time.Now().Unix()))
)
type Random struct{}
func (r *Random) Balance(sf *service.Service) ([]string, error) {
// .. 通過服務發現獲取到一堆ip+port, 然後隨機拿到其中的一些ip和port出來
randIndexes := rrRand.Perm(randMax)
// 返回這些ip 和port
}
這個 Random 會被併發呼叫, 由於 rrRand 不是併發安全的, 所以就導致了呼叫 rrRand.Perm 時偶爾會出現 panic 情況.
在使用 math/rand 的時候, 有些人使用 math.Intn() 看了下注釋發現是全域性共享了一個鎖, 擔心出現鎖競爭, 所以用 rand.New 來初始化一個新的 rand, 但是要注意到 rand.New 初始化出來的 rand 並不是併發安全的.
修復方案: 就是把 rrRand 換成了 globalRand, 線上上高併發場景下, 發現全域性鎖影響並不大.
2. 獲取的都是同一個機器
同樣也是底層封裝的 rpc 庫, 使用 random 的方式來流量分發, 線上上跑了一段時間後, 流量都路由到一臺機器上了, 導致服務直接當機. 大概實現程式碼:
func Call(ctx *gin.Context, method string, service string, data map[string]interface{}) (buf []byte, err error) {
ins, err := ral.GetInstance(ctx, ral.TYPE_HTTP, service)
if err != nil {
// 錯誤處理
}
defer ins.Release()
if b, e := ins.Request(ctx, method, data, head); e == nil {
// 錯誤處理
}
// 其他邏輯, 重試等等
}
func GetInstance(ctx *gin.Context, modType string, name string) (*Instance, error) {
// 其他邏輯..
switch res.Strategy {
case WITH_RANDOM:
if res.rand == nil {
res.rand = rand.New(rand.NewSource(time.Now().Unix()))
}
which = res.rand.Intn(res.count)
case 其他負載均衡查了
}
// 返回其中一個ip和port
}
引起問題的原因: 可以看出來每次請求到來都是利用 GetInstance 來獲取一個 ip 和 port, 如果採用 Random 方式的流量負載均衡, 每次都是重新初始化一個 rand. 我們已經知道當設定相同的種子，每次執行的結果都是一樣的. 當瞬間流量過大時, 併發請求 GetInstance, 由於那一刻 time.Now().Unix() 的值是一樣的, 這樣就會導致獲取到隨機數都是一樣的, 所以就導致最後獲取到的 ip, port都是一樣的, 流量都分發到這臺機器上了.
修復方案: 修改成 globalRand 即可.
rand 未來期望
說到這裡基本上可以看出來, 為了防止全域性鎖競爭問題, 在使用 math/rand 的時候, 首先都會想到自定義 rand, 但是就容易整出來莫名其妙的問題.
為什麼 math/rand 需要加鎖呢?
大家都知道 math/rand 是偽隨機的, 但是在設定完 seed 後, rng.vec 陣列的值基本上就確定下來了, 這明顯就不是隨機了, 為了增加隨機性, 通過 Uint64() 獲取到隨機數後, 還會重新去設定 rng.vec. 由於存在併發獲取隨機數的需求, 也就有了併發設定 rng.vec 的值, 所以需要對 rng.vec 加鎖保護.
使用 rand.Intn() 確實會有全域性鎖競爭問題, 你覺得 math/rand 未來會優化嗎? 以及如何優化? 歡迎留言討論