用Python的 __slots__ 節省9G記憶體

Kroderia發表於2013-12-03

我們曾經提到,Oyster.com的Python web伺服器怎樣利用一個巨大的Python dicts(hash table),快取大量的靜態資源。我們最近在Image類中,用僅僅一行__slots__程式碼,讓每個6G記憶體佔用的服務程式(共4個),省出超過2G來。

這是其中一個伺服器在部署程式碼前後的截圖:

我們alloc了大約一百萬個類似如下class的例項:

預設情況下,Python用一個dict來儲存物件例項的屬性。這在一般情況下還不錯,而且非常靈活,乃至你在執行時可以隨意設定新的屬性。

但是,對一些在”編譯”前就知道該有幾個固定屬性的小class來說,這個dict就有點浪費記憶體了。而當你把這個小浪費乘上一百萬,那可就大不同了。在Python中,你可以在class中設定__slots__,它是一個包含這些固定的屬性名的list。這樣Python就不會再使用dict,而且只分配這些屬性的空間。

你還可以用collections.namedtuple,它允許訪問引數,但只佔用一個tuple的空間。這跟__slots__類似。不過我總覺得繼承一個namedtuple類很奇怪。另外,如果你需要自定義初始化,你應該過載__new__而不是__init__。

警告:不要貿然進行這個優化,把它用在所有地方。這種做法不利於程式碼維護,而且只有當你有數以千計的例項的時候才會有明顯效果。

 

譯註:作者在評論中關於”不利於程式碼維護“的說法:

webreac:我覺得__slots__關鍵字不只是速度優化(注:這裡應該是記憶體優化),也是類欄位名的一個可靠”文件“。這有利於程式碼維護。為什麼你覺得它不好?

Ben Hoyt(作者):有趣的說法——我不確定應不應該把__slots__作為文件。不過的確是不錯的注意。我之前這麼說的原因是,你需要對欄位名”定義“兩次(不夠DRY)。namedtuple也類似。

相關文章