# 理解 virt、res、shr 之間的關係（linux 系統篇）

**前言**

想必在 linux 上寫過程式的同學都有分析程式佔用多少記憶體的經歷，或者被問到這樣的問題 —— 你的程式在執行時佔用了多少記憶體（實體記憶體）？

通常我們可以透過 top 命令檢視程式佔用了多少記憶體。這裡我們可以看到 VIRT、RES 和 SHR 三個重要的指標，他們分別代表什麼意思呢？

這是本文需要跟大家一起探討的問題。當然如果更加深入一點，你可能會問程式所佔用的那些實體記憶體都用在了哪些地方？這時候 top 命令可能不能給到你你所想要的答案了，不過我們可以分析 proc 檔案系統提供的 smaps 檔案，這篇文章詳盡地列出了當前程式所佔用實體記憶體的使用情況。

**本文將分為三個部分：**

1、簡要闡述虛擬記憶體和駐留記憶體這兩個重要的概念；

2、解釋 top 命令中 VIRT、RES 以及 SHR 三個引數的實際參考意義；

3、向大家介紹一下 smaps 檔案的格式，透過分析 smaps 檔案我們可以詳細瞭解程式實體記憶體的使用情況，比如 mmap 檔案佔用了多少空間、動態記憶體開闢消耗了多少空間、函式呼叫棧消耗了多少空間等等。

**一、關於記憶體的兩個概念**

要理解 top 命令關於記憶體使用情況的輸出，我們必須首先搞清楚虛擬記憶體（Virtual Memory）和駐留記憶體（Resident Memory）兩個概念。

**（1）虛擬記憶體**

首先需要強調的是虛擬記憶體不同於實體記憶體，雖然兩者都包含記憶體字眼但是它們屬於兩個不同層面的概念。程式佔用虛擬記憶體空間大並非意味著程式的實體記憶體也一定佔用很大。虛擬記憶體是作業系統核心為了對程式地址空間進行管理（process address space management）而精心設計的一個邏輯意義上的記憶體空間概念。

我們程式中的指標其實都是這個虛擬記憶體空間中的地址。比如我們在寫完一段 C++ 程式之後都需要採用 g++ 進行編譯，這時候編譯器採用的地址其實就是虛擬記憶體空間的地址。因為這時候程式還沒有執行，何談實體記憶體空間地址？凡是程式執行過程中可能需要用到的指令或者資料都必須在虛擬記憶體空間中。

既然說虛擬記憶體是一個邏輯意義上（假象的）的記憶體空間，為了能夠讓程式在物理機器上執行，那麼必須有一套機制可以讓這些假象的虛擬記憶體空間對映到實體記憶體空間（實實在在的 RAM 記憶體條上的空間）。這其實就是作業系統中頁對映表（page table）所做的事情了。

核心會為系統中每一個程式維護一份相互獨立的頁對映表。頁對映表的基本原理是將程式執行過程中需要訪問的一段虛擬記憶體空間透過頁對映表對映到一段實體記憶體空間上，這樣 CPU 訪問對應虛擬記憶體地址的時候就可以透過這種查詢頁對映表的機制訪問實體記憶體上的某個對應的地址。“頁（page）” 是虛擬記憶體空間向實體記憶體空間對映的基本單元。

下圖演示了虛擬記憶體空間和實體記憶體空間的相互關係，它們透過 Page Table 關聯起來。其中虛擬記憶體空間中著色的部分分別被對映到實體記憶體空間對應相同著色的部分。而虛擬記憶體空間中灰色的部分表示在實體記憶體空間中沒有與之對應的部分，也就是說灰色部分沒有被對映到實體記憶體空間中。這麼做也是本著 “按需對映” 的指導思想，因為虛擬記憶體空間很大，可能其中很多部分在一次程式執行過程中根本不需要訪問，所以也就沒有必要將虛擬記憶體空間中的這些部分對映到實體記憶體空間上。

![微信圖片_20220923132531](https://f.pz.al/pzal/2022/09/23/af3760f50453d.png)

虛擬記憶體空間到實體記憶體空間對映

到這裡為止已經基本闡述了什麼是虛擬記憶體了。

總結一下就是，虛擬記憶體是一個假象的記憶體空間，在程式執行過程中虛擬記憶體空間中需要被訪問的部分會被對映到實體記憶體空間中。虛擬記憶體空間大隻能表示程式執行過程中可訪問的空間比較大，不代表實體記憶體空間佔用也大。

**（2）駐留記憶體**

駐留記憶體，顧名思義是指那些被對映到程式虛擬記憶體空間的實體記憶體。上圖中，在系統實體記憶體空間中被著色的部分都是駐留記憶體。比如，A1、A2、A3 和 A4 是程式 A 的駐留記憶體；B1、B2 和 B3 是程式 B 的駐留記憶體。

程式的駐留記憶體就是程式實實在在佔用的實體記憶體。一般我們所講的程式佔用了多少記憶體，其實就是說的佔用了多少駐留記憶體而不是多少虛擬記憶體。因為虛擬記憶體大並不意味著佔用的實體記憶體大。

二、**top 命令中 VIRT、RES 和 SHR**

關於虛擬記憶體和駐留記憶體這兩個概念我們說到這裡。下面一部分我們來看看 top 命令中 VIRT、RES 和 SHR 分別代表什麼意思。

搞清楚了虛擬記憶體的概念之後解釋 VIRT 的含義就很簡單了。VIRT 表示的是程式虛擬記憶體空間大小。對應到圖 1 中的程式 A 來說就是 A1、A2、A3、A4 以及灰色部分所有空間的總和。也就是說 VIRT 包含了在已經對映到實體記憶體空間的部分和尚未對映到實體記憶體空間的部分總和。

RES 的含義是指程式虛擬記憶體空間中已經對映到實體記憶體空間的那部分的大小。對應到圖 1 中的程式 A 來說就是 A1、A2、A3 以及 A4 幾個部分空間的總和。所以說，看程式在執行過程中佔用了多少記憶體應該看 RES 的值而不是 VIRT 的值。

最後來看看 SHR 所表示的含義。

SHR 是 share（共享）的縮寫，它表示的是程式佔用的共享記憶體大小。在上圖中我們看到程式 A 虛擬記憶體空間中的 A4 和程式 B 虛擬記憶體空間中的 B3 都對映到了實體記憶體空間的 A4/B3 部分。咋一看很奇怪。

為什麼會出現這樣的情況呢？

其實我們寫的程式會依賴於很多外部的動態庫（.so），比如 libc.so、libld.so 等等。這些動態庫在記憶體中僅僅會儲存 / 對映一份，如果某個程式執行時需要這個動態庫，那麼動態載入器會將這塊記憶體對映到對應程式的虛擬記憶體空間中。多個進展之間透過共享記憶體的方式相互通訊也會出現這樣的情況。

這麼一來，就會出現不同程式的虛擬記憶體空間會對映到相同的實體記憶體空間。這部分實體記憶體空間其實是被多個程式所共享的，所以我們將他們稱為共享記憶體，用 SHR 來表示。

某個程式佔用的記憶體除了和別的程式共享的記憶體之外就是自己的獨佔記憶體了。所以要計算程式獨佔記憶體的大小隻要用 RES 的值減去 SHR 值即可。

三、**程式的 smaps 檔案**

透過 top 命令我們已經能看出程式的虛擬空間大小（VIRT）、佔用的實體記憶體（RES）以及和其他程式共享的記憶體（SHR）。但是僅此而已，如果我想知道如下問題：

程式的虛擬記憶體空間的分佈情況，比如 heap 佔用了多少空間、檔案對映（mmap）佔用了多少空間、stack 佔用了多少空間？

程式是否有被交換到 swap 空間的記憶體，如果有，被交換出去的大小？

mmap 方式開啟的資料檔案有多少頁在記憶體中是髒頁（dirty page）沒有被寫回到磁碟的？

mmap 方式開啟的資料檔案當前有多少頁面已經在記憶體中，有多少頁面還在磁碟中沒有載入到 page cahe 中？

以上這些問題都無法透過 top 命令給出答案,感興趣的朋友可以在[cnaaa伺服器](https://www.cnaaa.com/)上部署環境自己試一下，但是有時候這些問題正是我們在對程式進行效能瓶頸分析和最佳化時所需要回答的問題。所幸的是，世界上解決問題的方法總比問題本身要多得多。linux 透過 proc 檔案系統為每個程式都提供了一個 smaps 檔案，透過分析該檔案我們就可以一一回答以上提出的問題。

在 smaps 檔案中，每一條記錄（如下圖所示）表示程式虛擬記憶體空間中一塊連續的區域。其中第一行從左到右依次表示地址範圍、許可權標識、對映檔案偏移、裝置號、inode、檔案路徑。詳細解釋可以參見
understanding-linux-proc-id-maps。

接下來 **8 個欄位的含義**分別如下：

・Size：表示該對映區域在虛擬記憶體空間中的大小。

・Rss：表示該對映區域當前在實體記憶體中佔用了多少空間

・Shared_Clean：和其他程式共享的未被改寫的 page 的大小

・Shared_Dirty：和其他程式共享的被改寫的 page 的大小

・Private_Clean：未被改寫的私有頁面的大小。

・Private_Dirty：已被改寫的私有頁面的大小。

・Swap：表示非 mmap 記憶體（也叫 anonymous memory，比如 malloc 動態分配出來的記憶體）由於實體記憶體不足被 swap 到交換空間的大小。

・Pss：該虛擬記憶體區域平攤計算後使用的實體記憶體大小 (有些記憶體會和其他程式共享，例如 mmap 進來的)。比如該區域所對映的實體記憶體部分同時也被另一個程式對映了，且該部分實體記憶體的大小為 1000KB，那麼該程式分攤其中一半的記憶體，即 Pss=500KB。

![微信圖片_20220923132550](https://f.pz.al/pzal/2022/09/23/be030dec4b1ac.jpg)

smaps 檔案中的一條記錄

有了 smap 如此詳細關於虛擬記憶體空間到實體記憶體空間的對映資訊，相信大家已經能夠透過分析該檔案回答上面提出的 4 個問題。

最後希望大家能夠透過閱讀本文對程式的虛擬記憶體和實體記憶體有一個更加清晰認識，並能更加準確理解 top 命令關於記憶體的輸出，最後可以透過 smaps 檔案更進一步分析程式使用記憶體的情況。

理解 virt、res、shr 之間的關係（linux 系統篇）

相關文章