淺談Linux記憶體管理機制

n-lauren發表於2017-02-09

經常遇到一些剛接觸Linux的新手會問記憶體佔用怎麼那麼多?

在Linux中經常發現空閒記憶體很少,似乎所有的記憶體都被系統佔用了,表面感覺是記憶體不夠用了,其實不然。這是Linux記憶體管理的一個優秀特性,在這方面,區別於Windows的記憶體管理。主要特點是,無論實體記憶體有多大,Linux 都將其充份利用,將一些程式呼叫過的硬碟資料讀入記憶體,利用記憶體讀寫的高速特性來提高Linux系統的資料訪問效能。而Windows是隻在需要記憶體時,才為應用程式分配記憶體,並不能充分利用大容量的記憶體空間。換句話說,每增加一些實體記憶體,Linux都將能充分利用起來,發揮了硬體投資帶來的好處,而Windows只將其做為擺設,即使增加8GB甚至更大。

Linux的這一特性,主要是利用空閒的實體記憶體,劃分出一部份空間,做為cache、buffers ,以此提高資料訪問效能。

頁快取記憶體(cache)是Linux核心實現的一種主要磁碟快取。它主要用來減少對磁碟的I/O操作。具體地講,是通過把磁碟中的資料快取到實體記憶體中,把對磁碟的訪問變為對物理 記憶體的訪問。

磁碟快取記憶體的價值在於兩個方面:第一,訪問磁碟的速度要遠遠低於訪問記憶體的速度,因此,從記憶體訪問資料比從磁碟訪問速度更快。第二,資料一旦被訪問,就很有可能在短期內再次被訪問到。

下面來了解下Linux記憶體管理機制:

一、實體記憶體和虛擬記憶體

我們知道,直接從實體記憶體讀寫資料要比從硬碟讀寫資料要快的多,因此,我們希望所有資料的讀取和寫入都在記憶體完成,而記憶體是有限的,這樣就引出了實體記憶體與虛擬記憶體的概念。

實體記憶體就是系統硬體提供的記憶體大小,是真正的記憶體,相對於實體記憶體,在Linux下還有一個虛擬記憶體的概念,虛擬記憶體就是為了滿足實體記憶體的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯記憶體,用作虛擬記憶體的磁碟空間被稱為交換空間(Swap Space)。

作為實體記憶體的擴充套件,Linux會在實體記憶體不足時,使用交換分割槽的虛擬記憶體,更詳細的說,就是核心會將暫時不用的記憶體塊資訊寫到交換空間,這樣以來,實體記憶體得到了釋放,這塊記憶體就可以用於其它目的,當需要用到原始的內容時,這些資訊會被重新從交換空間讀入實體記憶體。

Linux的記憶體管理採取的是分頁存取機制,為了保證實體記憶體能得到充分的利用,核心會在適當的時候將實體記憶體中不經常使用的資料塊自動交換到虛擬記憶體中,而將經常使用的資訊保留到實體記憶體。

要深入瞭解Linux記憶體執行機制,需要知道下面提到的幾個方面:

  1. Linux系統會不時的進行頁面交換操作,以保持儘可能多的空閒實體記憶體,即使並沒有什麼事情需要記憶體,Linux也會交換出暫時不用的記憶體頁面。這可以避免等待交換所需的時間。
  2. Linux進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬記憶體,Linux核心根據”最近最經常使用“演算法,僅僅將一些不經常使用的頁面檔案交換到虛擬記憶體,有時我們會看到這麼一個現象:Linux實體記憶體還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,一個佔用很大記憶體的程式執行時,需要耗費很多記憶體資源,此時就會有一些不常用頁面檔案被交換到虛擬記憶體中,但後來這個佔用很多記憶體資源的程式結束並釋放了很多記憶體時,剛才被交換出去的頁面檔案並不會自動的交換進實體記憶體,除非有這個必要,那麼此刻系統實體記憶體就會空閒很多,同時交換空間也在被使用,就出現了剛才所說的現象了。關於這點,不用擔心什麼,只要知道是怎麼一回事就可以了。
  3. 交換空間的頁面在使用時會首先被交換到實體記憶體,如果此時沒有足夠的實體記憶體來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬記憶體中可能沒有足夠空間來儲存這些交換頁面,最終會導致Linux出現假當機、服務異常等問題,Linux雖然可以在一段時間內自行恢復,但是恢復後的系統已經基本不可用了。

因此,合理規劃和設計Linux記憶體的使用,是非常重要的.

二、記憶體的監控

作為一名Linux系統管理員,監控記憶體的使用狀態是非常重要的,通過監控有助於瞭解記憶體的使用狀態,比如記憶體佔用是否正常,記憶體是否緊缺等等,監控記憶體最常使用的命令有free、top等,下面是某個系統free的輸出:

  1. [root@linuxeye ~]# free 
  2.              total       used       free     shared    buffers     cached 
  3. Mem:       3894036    3473544     420492          0      72972    1332348 
  4. -/+ buffers/cache:    2068224    1825812 
  5. Swap:      4095992     906036    3189956 

每個選項的含義:

第一行:

total:實體記憶體的總大小

used:已經使用的實體記憶體大小

free:空閒的實體記憶體大小

shared:多個程式共享的記憶體大小

buffers/cached:磁碟快取的大小

第二行Mem:代表實體記憶體使用情況

第三行(-/+ buffers/cached):代表磁碟快取使用狀態

第四行:Swap表示交換空間記憶體使用狀態

free命令輸出的記憶體狀態,可以通過兩個角度來檢視:一個是從核心的角度來看,一個是從應用層的角度來看的。

從核心的角度來檢視記憶體的狀態

就是核心目前可以直接分配到,不需要額外的操作,即為上面free命令輸出中第二行Mem項的值,可以看出,此係統實體記憶體有3894036K,空閒的記憶體只有420492K,也就是40M多一點,我們來做一個這樣的計算:

3894036 – 3473544 = 420492

其實就是總的實體記憶體減去已經使用的實體記憶體得到的就是空閒的實體記憶體大小,注意這裡的可用記憶體值420492並不包含處於buffers和cached狀態的記憶體大小。

如果你認為這個系統空閒記憶體太小,那你就錯了,實際上,核心完全控制著記憶體的使用情況,Linux會在需要記憶體的時候,或在系統執行逐步推進時,將buffers和cached狀態的記憶體變為free狀態的記憶體,以供系統使用。

從應用層的角度來看系統記憶體的使用狀態

也就是Linux上執行的應用程式可以使用的記憶體大小,即free命令第三行 -/+ buffers/cached 的輸出,可以看到,此係統已經使用的記憶體才2068224K,而空閒的記憶體達到1825812K,繼續做這樣一個計算:

420492+(72972+1332348)=1825812

通過這個等式可知,應用程式可用的實體記憶體值是Mem項的free值加上buffers和cached值之和,也就是說,這個free值是包括buffers和cached項大小的,對於應用程式來說,buffers/cached佔有的記憶體是可用的,因為buffers/cached是為了提高檔案讀取的效能,當應用程式需要用到記憶體的時候,buffers/cached會很快地被回收,以供應用程式使用。

buffers與cached的異同

在Linux 作業系統中,當應用程式需要讀取檔案中的資料時,作業系統先分配一些記憶體,將資料從磁碟讀入到這些記憶體中,然後再將資料分發給應用程式;當需要往檔案中寫資料時,作業系統先分配記憶體接收使用者資料,然後再將資料從記憶體寫到磁碟上。然而,如果有大量資料需要從磁碟讀取到記憶體或者由記憶體寫入磁碟時,系統的讀寫效能就變得非常低下,因為無論是從磁碟讀資料,還是寫資料到磁碟,都是一個很消耗時間和資源的過程,在這種情況下,Linux引入了buffers和cached機制。

buffers與cached都是記憶體操作,用來儲存系統曾經開啟過的檔案以及檔案屬性資訊,這樣當作業系統需要讀取某些檔案時,會首先在buffers與cached記憶體區查詢,如果找到,直接讀出傳送給應用程式,如果沒有找到需要資料,才從磁碟讀取,這就是作業系統的快取機制,通過快取,大大提高了作業系統的效能。但buffers與cached緩衝的內容卻是不同的。

buffers是用來緩衝塊裝置做的,它只記錄檔案系統的後設資料(metadata)以及 tracking in-flight pages,而cached是用來給檔案做緩衝。更通俗一點說:buffers主要用來存放目錄裡面有什麼內容,檔案的屬性以及許可權等等。而cached直接用來記憶我們開啟過的檔案和程式。

為了驗證我們的結論是否正確,可以通過vi開啟一個非常大的檔案,看看cached的變化,然後再次vi這個檔案,感覺一下兩次開啟的速度有何異同,是不是第二次開啟的速度明顯快於第一次呢?

接著執行下面的命令:

  1. find /* -name  *.conf 

看看buffers的值是否變化,然後重複執行find命令,看看兩次顯示速度有何不同。

Linux作業系統的記憶體執行原理,很大程度上是根據伺服器的需求來設計的,例如系統的緩衝機制會把經常使用到的檔案和資料快取在cached中,linux總是在力求快取更多的資料和資訊,這樣再次需要這些資料時可以直接從記憶體中取,而不需要有一個漫長的磁碟操作,這種設計思路提高了系統的整體效能。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/22990797/viewspace-2133247/,如需轉載,請註明出處,否則將追究法律責任。

相關文章