淺談Linux的記憶體管理機制

一 實體記憶體和虛擬記憶體

         我們知道，直接從實體記憶體讀寫資料要比從硬碟讀寫資料要快的多，因此，我們希望所有資料的讀取和寫入都在記憶體完成，而記憶體是有限的，這樣就引出了實體記憶體與虛擬記憶體的概念。
實體記憶體就是系統硬體提供的記憶體大小，是真正的記憶體，相對於實體記憶體，在linux下還有一個虛擬記憶體的概念，虛擬記憶體就是為了滿足實體記憶體的不足而提出的策略，它是利用磁碟空間虛擬出的一塊邏輯記憶體，用作虛擬記憶體的磁碟空間被稱為交換空間（Swap Space）。
         作為實體記憶體的擴充套件，linux會在實體記憶體不足時，使用交換分割槽的虛擬記憶體，更詳細的說，就是核心會將暫時不用的記憶體塊資訊寫到交換空間，這樣以來，實體記憶體得到了釋放，這塊記憶體就可以用於其它目的，當需要用到原始的內容時，這些資訊會被重新從交換空間讀入實體記憶體。
         linux的記憶體管理採取的是分頁存取機制，為了保證實體記憶體能得到充分的利用，核心會在適當的時候將實體記憶體中不經常使用的資料塊自動交換到虛擬記憶體中，而將經常使用的資訊保留到實體記憶體。
         要深入瞭解linux記憶體執行機制，需要知道下面提到的幾個方面：
         首先，Linux系統會不時的進行頁面交換操作，以保持儘可能多的空閒實體記憶體，即使並沒有什麼事情需要記憶體，Linux也會交換出暫時不用的記憶體頁面。這可以避免等待交換所需的時間。
         其次，linux進行頁面交換是有條件的，不是所有頁面在不用時都交換到虛擬記憶體，linux核心根據”最近最經常使用“演算法，僅僅將一些不經常使用的頁面檔案交換到虛擬記憶體，有時我們會看到這麼一個現象：linux實體記憶體還有很多，但是交換空間也使用了很多。其實，這並不奇怪，例如，一個佔用很大記憶體的程式執行時，需要耗費很多記憶體資源，此時就會有一些不常用頁面檔案被交換到虛擬記憶體中，但後來這個佔用很多記憶體資源的程式結束並釋放了很多記憶體時，剛才被交換出去的頁面檔案並不會自動的交換進實體記憶體，除非有這個必要，那麼此刻系統實體記憶體就會空閒很多，同時交換空間也在被使用，就出現了剛才所說的現象了。關於這點，不用擔心什麼，只要知道是怎麼一回事就可以了。
         最後，交換空間的頁面在使用時會首先被交換到實體記憶體，如果此時沒有足夠的實體記憶體來容納這些頁面，它們又會被馬上交換出去，如此以來，虛擬記憶體中可能沒有足夠空間來儲存這些交換頁面，最終會導致linux出現假當機、服務異常等問題，linux雖然可以在一段時間內自行恢復，但是恢復後的系統已經基本不可用了。
因此，合理規劃和設計linux記憶體的使用，是非常重要的.

二 記憶體的監控
         作為一名linux系統管理員，監控記憶體的使用狀態是非常重要的，透過監控有助於瞭解記憶體的使用狀態，比如記憶體佔用是否正常，記憶體是否緊缺等等，監控記憶體最常使用的命令有free、top等，下面是某個系統free的輸出：
[haixigov@WEBServer ~]$ free
             total        used         free      shared   buffers   cached
Mem:         16402432    16360492      41940        0     465404   12714880
-/+ buffers/cache:        3180208   13222224
Swap:        8193108        264      8192844
我們解釋下輸出結果中每個選項的含義：
首先是第一行：
? total：實體記憶體的總大小。 
? used：已經使用的實體記憶體多小。 
? free：空閒的實體記憶體值。 
? shared：多個程式共享的記憶體值。
? buffers/cached：磁碟快取的大小。 
第二行Mem：代表實體記憶體使用情況。
第三行(-/+ buffers/cached)：代表磁碟快取使用狀態。
第四行：Swap表示交換空間記憶體使用狀態。
free命令輸出的記憶體狀態，可以透過兩個角度來檢視：一個是從核心的角度來看，一個是從應用層的角度來看的。 

1．從核心的角度來檢視記憶體的狀態
就是核心目前可以直接分配到，不需要額外的操作，即為上面free命令輸出中第二行Mem項的值，可以看出，此係統實體記憶體有16G，空閒的記憶體只有41940K，也就是40M多一點，我們來做一個這樣的計算：
16402432－16360492＝41940  
其實就是總的實體記憶體減去已經使用的實體記憶體得到的就是空閒的實體記憶體大小，注意這裡的可用記憶體值41940並不包含處於buffers和cached狀態的記憶體大小。
如果你認為這個系統空閒記憶體太小，那你就錯了，實際上，核心完全控制著記憶體的使用情況，linux會在需要記憶體的時候，或在系統執行逐步推進時，將buffers和cached狀態的記憶體變為free狀態的記憶體，以供系統使用。 

2．從應用層的角度來看系統記憶體的使用狀態
也就是linux上執行的應用程式可以使用的記憶體大小，即free命令第三行“(-/+ buffers/cached)”的輸出，可以看到，此係統已經使用的記憶體才3180208K，而空閒的記憶體達到13222224K，繼續做這樣一個計算：
41940＋（465404＋12714880）＝13222224
透過這個等式可知，應用程式可用的實體記憶體值是Mem項的free值加上buffers和cached值之和，也就是說，這個free值是包括buffers和cached項大小的，
對於應用程式來說，buffers/cached佔有的記憶體是可用的，因為buffers/cached是為了提高檔案讀取的效能，當應用程式需要用到記憶體的時候，buffers/cached會很快地被回收，以供應用程式使用。

3．buffers與cached的異同
　在 Linux 作業系統中，當應用程式需要讀取檔案中的資料時，作業系統先分配一些記憶體，將資料從磁碟讀入到這些記憶體中，然後再將資料分發給應用程式；當需要往檔案中寫資料時，作業系統先分配記憶體接收使用者資料，然後再將資料從記憶體寫到磁碟上。然而，如果有大量資料需要從磁碟讀取到記憶體或者由記憶體寫入磁碟時，系統的讀寫效能就變得非常低下，因為無論是從磁碟讀資料，還是寫資料到磁碟，都是一個很消耗時間和資源的過程，在這種情況下，linux引入了buffers和cached機制。
buffers與cached都是記憶體操作，用來儲存系統曾經開啟過的檔案以及檔案屬性資訊，這樣當作業系統需要讀取某些檔案時，會首先在buffers與cached記憶體區查詢，如果找到，直接讀出傳送給應用程式，如果沒有找到需要資料，才從磁碟讀取，這就是作業系統的快取機制，透過快取，大大提高了作業系統的效能。但buffers與cached緩衝的內容卻是不同的。
buffers是用來緩衝塊裝置做的，它只記錄檔案系統的後設資料（metadata）以及 tracking in-flight pages，而cached是用來給檔案做緩衝。更通俗一點說：buffers主要用來存放目錄裡面有什麼內容，檔案的屬性以及許可權等等。而cached直接用來記憶我們開啟過的檔案和程式。
為了驗證我們的結論是否正確，可以透過vi開啟一個非常大的檔案，看看cached的變化，然後再次vi這個檔案，感覺一下兩次開啟的速度有何異同，是不是第二次開啟的速度明顯快於第一次呢？
接著執行下面的命令：
 find /* -name  *.conf
         看看buffers的值是否變化，然後重複執行find命令，看看兩次顯示速度有何不同。
         Linux作業系統的記憶體執行原理，很大程度上是根據伺服器的需求來設計的，例如系統的緩衝機制會把經常使用到的檔案和資料快取在cached中，linux總是在力求快取更多的資料和資訊，這樣再次需要這些資料時可以直接從記憶體中取，而不需要有一個漫長的磁碟操作，這種設計思路提高了系統的整體效能。

三 交換空間swap的使用
        雖然現在的記憶體已經變得非常廉價，但是swap仍然有很大的使用價值，合理的規劃和使用swap分割槽，對系統穩定執行至關重要。Linux下可以使用檔案系統中的一個常規檔案或者一個獨立分割槽作為交換空間使用。同時linux允許使用多個交換分割槽或者交換檔案。

1．建立swap交換空間
         建立交換空間所需的交換檔案是一個普通的檔案，但是，建立交換檔案與建立普通檔案不同，必須透過dd命令來完成，同時這個檔案必須位於本地硬碟上，不能在網路檔案系統（NFS）上建立swap交換檔案。例如：
[root@localhost ~]# dd if=/dev/zero of=/data/swapfile bs=1024 count=65536
65536+0 records in
65536+0 records out
這樣就建立一個有連續空間的交換檔案，大小為60M左右，關於dd命令做簡單的講述:
if＝輸入檔案，或者裝置名稱。
of＝輸出檔案或者裝置名稱。
ibs=bytes 表示一次讀入bytes 個位元組(即一個塊大小為 bytes 個位元組)。
obs=bytes 表示一次寫bytes 個位元組(即一個塊大小為 bytes 個位元組)。
bs＝bytes，同時設定讀寫塊的大小，以bytes為單位，此引數可代替 ibs 和 obs。
count=blocks 僅複製blocks個塊。
skip=blocks 表示從輸入檔案開頭跳過 blocks 個塊後再開始複製。
seek=blocks表示從輸出檔案開頭跳過 blocks 個塊後再開始複製。(通常只有當輸出檔案是磁碟或磁帶時才有效)
這裡的輸入裝置/dev/zero代表一個輸出永遠為0的裝置檔案，使用它作輸入可以得到全為空的檔案。

2．啟用和使用swap
首先透過mkswap命令指定作為交換空間的裝置或者檔案：
[root@localhost ~]#mkswap  /data/swapfile
Setting up swapspace version 1, size = 67104 kB
[root@localhost backup]# free
             total       used       free     shared    buffers     cached
Mem:       2066632    1998188      68444          0      26160    1588044
-/+ buffers/cache:     383984    1682648
Swap:      4088500     101036    3987464
從上面輸出可知，我們指定了一個67104 kB的交換空間，而此時新建的交換空間還未被使用，下面簡單介紹下mkswap命令，mkswap的一般使用格式為：
mkswap [引數] [裝置名稱或檔案][交換區大小]
引數：
-c：建立交換區前，先檢查是否有損壞的區塊。
-v0：建立舊式交換區，此為預設值。
-v1：建立新式交換區。
交換區大小：指定交換區的大小，單位為1024位元組。
設定交換分割槽後，接著透過swapon命令啟用swap：
[root@localhost ~]#/usr/sbin/swapon /data/swapfile
[root@localhost backup]# free
             total       used       free     shared    buffers     cached
Mem:       2066632    1997668      68964          0      27404    1588880
-/+ buffers/cache:     381384    1685248
Swap:      4154028     100976    4053052
         透過free命令可以看出，swap大小已經由4088500k變為4154028k，相差的值是60M左右，剛好等於我們增加的一個交換檔案大小，這說明新增的交換分割槽已經可以使用了，但是如果linux重啟，那麼新增的swap空間將變得不可用，因此需要在/etc/fstab中新增自動載入設定：
 /data/swapfile  none  swap  sw 0 0
如此以來，linux在重啟後就可以實現自動載入swap分割槽了。其實linux在啟動過程中會執行“swapon -a”命令，此命令會載入列在/etc/fstab中的所有交換空間。

3．移除swap
透過swapoff即可移除一個交換空間
[root@localhost ~]#/usr/sbin/swapoff /data/swapfile
其實也可以透過“swapoff -a”移除在/etc/fstab中定義的所有交換空間，這裡的“swapoff -a”與上面提到的“swapon -a”對應。執行“swapoff -a”後，free命令輸出如下：
[root@localhost backup]# free
             total       used       free     shared    buffers     cached
Mem:       2066632    2048724      17908          0      30352    1642748
-/+ buffers/cache:     375624    1691008
Swap:            0          0          0