GO 記憶體對齊

菸草的香味. 發表於 2020-11-21
Go

前言

之前遇到過這樣一個情況(發現問題的結構體並不長這樣, 不過為了引出問題, 改了一下):

 
 type Test struct {
 b bool
 i3 int32
 i8 int8
 i64 int64
 by byte
 }
 func main() {
 t := Test{}
 fmt.Printf("%d", unsafe.Sizeof(t))
 }

建立一個結構體, 檢視一下其記憶體佔用. 看結果前先簡單算一下:

  • bool: 1B
  • int32: 4B
  • int8: 1B
  • int64: 8B
  • byte: 1B

這麼算下來的話, Test結構體佔用應該是: 1+4+1+8+1=15B. 15個位元組對吧. 來, 列印看一下:

GO 記憶體對齊

32個位元組???這不坑我麼.記憶體佔用直接多出一倍.

探索

通過查詢資料, 發現了這樣一個名詞: 記憶體對齊. 什麼是記憶體對齊呢?

簡單說, 就是CPU在讀取資料的時候, 並不是一個位元組一個位元組讀取的, 而是一塊一塊讀取的. 那麼這個快是多大呢? 根據CPU位數不同而不同.

GO編譯器在編譯的時候, 為了保證記憶體對齊, 對每一個資料型別都給出了對齊保證, 將未對齊的記憶體留空. 如果一個型別的對齊保證是4B, 那麼其資料存放的起始地址偏移量必是4B 的整數倍. 而編譯器給出的這個對齊保證是多少呢? 不同版本不同平臺的編譯器不盡相同, 可以通過函式unsafe.Alignof 來獲取.

通過分析之前的資料結果, 就能大致理解了. 先來看一下幾個型別對齊保證的值:

 
 fmt.Printf("bool: %d\n", unsafe.Alignof(bool(false)))
 fmt.Printf("int32: %d\n", unsafe.Alignof(int32(0)))
 fmt.Printf("int8: %d\n", unsafe.Alignof(int8(0)))
 fmt.Printf("int64: %d\n", unsafe.Alignof(int64(0)))
 fmt.Printf("byte: %d\n", unsafe.Alignof(byte(0)))

結果如下:

GO 記憶體對齊

來嘗試一個一個放到記憶體中(下圖中每個空白代表一個位元組):

1.放入bool: 其對齊保證為1, 第一個變數, 直接放入即可.

GO 記憶體對齊

2.放入int32. 其對齊保證為4, 既偏移量為4的整數倍. 而現有地址中, 首個4的整數倍為第四個位元組(中間三位元組留空).

GO 記憶體對齊

按照這個思路, 依次將後面的變數放入, 結果佔用的記憶體為(其中字母依次為變數佔用, X為對齊留空):

AXXX BBBB CXXX XXXX DDDD DDDD E

但是這才25個位元組啊. 和實際的32位元組還差點呢. 別急, 再看一下結構體的對齊保證, 發現是8B. 上面不是8B 的整數倍, 往後補零. 結果:

AXXX BBBB CXXX XXXX DDDD DDDD EXXX XXXX

如此一來, 就正好32位了. 結構體的對齊保證, 為其成員變數對齊保證的最大值.

why

那麼編譯器為什麼要做記憶體對齊這種事情呢? 舉個例子, 如果不做記憶體對齊, 那麼下面這個結構體的記憶體分佈為:

 
 type Test struct {
 b bool
 i3 int32
 }

ABBB B

還記得之前說, CPU讀取記憶體是一塊一塊讀取的麼? 而這個塊, 假設是4B.

這樣的話, 當你需要讀取i3變數的時候, 需要進行兩次記憶體訪問. 而對齊之後, 只需要進行一次記憶體訪問即可. 是典型的空間換時間的做法.

修改

既然知道了問題出在哪裡, 那麼是不是如果換一下欄位的存放順序, 就可以壓縮記憶體空間了呢? 思路很簡單, 將對齊保證小的放到前面, 試一下:

 
 type Test struct {
 b bool
 by byte
 i8 int8
 i3 int32
 i64 int64
 }
  
 func main() {
 t := Test{}
 fmt.Printf("%d", unsafe.Sizeof(t))
 }

GO 記憶體對齊

通過之前的對齊分析. 結果確為18B. 也就是因為欄位順序的問題, 編譯器為了保證記憶體對齊, 向其中填充了很多空白, 造成了記憶體的浪費.

僅僅是修改了一下欄位的順序, 就可以將結構體的記憶體佔用直接降低一倍. 見識了...

檢測工具

那麼, 有沒有什麼辦法能夠幫我們檢測是否存在記憶體對齊的優化呢? 畢竟平常寫的時候, 誰會關心這玩意呢. 別說, 還真有. golangci-lint

官網: https://golangci-lint.run/

安裝: brew install golangci-lint

檢測所有檔案命令: golangci-lint run ./..

檢測一下最開始的結構體檔案(新增引數指定檢測記憶體對齊):

golangci-lint run --disable-all -E maligned main.go

看到結果:

GO 記憶體對齊

會看到提示, 該結構體當前佔有32B, 可優化至16B. 完美.

當然, 此工具的功能不僅如此, 它能夠提供很多建議, 有待發掘.


其實, 專案中估計也很少有關注記憶體對齊的時候吧. 不過畢竟積少成多, 記憶體這玩意, 能省則省嘛.