cgroups(Control Groups) 是 linux 核心提供的一種機制，這種機制可以根據需求把一系列系統任務及其子任務整合(或分隔)到按資源劃分等級的不同組內，從而為系統資源管理提供一個統一的框架。簡單說，cgroups 可以限制、記錄任務組所使用的物理資源。本質上來說，cgroups 是核心附加在程式上的一系列鉤子(hook)，通過程式執行時對資源的排程觸發相應的鉤子以達到資源追蹤和限制的目的。
本文以 Ubuntu 16.04 系統為例介紹 cgroups，所有的 demo 均在該系統中演示。
為什麼要了解 cgroups
在以容器技術為代表的虛擬化技術大行其道的時代瞭解 cgroups 技術是非常必要的！比如我們可以很方便的限制某個容器可以使用的 CPU、記憶體等資源，這究竟是如何實現的呢？通過了解 cgroups 技術，我們可以窺探到 linux 系統中整個資源限制系統的脈絡。從而幫助我們更好的理解和使用 linux 系統。
cgroups 的主要作用
實現 cgroups 的主要目的是為不同使用者層面的資源管理提供一個統一化的介面。從單個任務的資源控制到作業系統層面的虛擬化，cgroups 提供了四大功能：
- 資源限制：cgroups 可以對任務是要的資源總額進行限制。比如設定任務執行時使用的記憶體上限，一旦超出就發 OOM。
- 優先順序分配：通過分配的 CPU 時間片數量和磁碟 IO 頻寬，實際上就等同於控制了任務執行的優先順序。
- 資源統計：cgoups 可以統計系統的資源使用量，比如 CPU 使用時長、記憶體用量等。這個功能非常適合當前雲端產品按使用量計費的方式。
- 任務控制：cgroups 可以對任務執行掛起、恢復等操作。
相關概念
Task(任務) 在 linux 系統中，核心本身的排程和管理並不對程式和執行緒進行區分，只是根據 clone 時傳入的引數的不同來從概念上區分程式和執行緒。這裡使用 task 來表示系統的一個程式或執行緒。
Cgroup(控制組) cgroups 中的資源控制以 cgroup 為單位實現。Cgroup 表示按某種資源控制標準劃分而成的任務組，包含一個或多個子系統。一個任務可以加入某個 cgroup，也可以從某個 cgroup 遷移到另一個 cgroup。
Subsystem(子系統) cgroups 中的子系統就是一個資源排程控制器(又叫 controllers)。比如 CPU 子系統可以控制 CPU 的時間分配，記憶體子系統可以限制記憶體的使用量。以筆者使用的 Ubuntu 16.04.3 為例，其核心版本為 4.10.0，支援的 subsystem 如下( cat /proc/cgroups)：
blkio 對塊裝置的 IO 進行限制。
cpu 限制 CPU 時間片的分配，與 cpuacct 掛載在同一目錄。
cpuacct 生成 cgroup 中的任務佔用 CPU 資源的報告，與 cpu 掛載在同一目錄。
cpuset 給 cgroup 中的任務分配獨立的 CPU(多處理器系統) 和記憶體節點。
devices 允許或禁止 cgroup 中的任務訪問裝置。
freezer 暫停/恢復 cgroup 中的任務。
hugetlb 限制使用的記憶體頁數量。
memory 對 cgroup 中的任務的可用記憶體進行限制，並自動生成資源佔用報告。
net_cls 使用等級識別符（classid）標記網路資料包，這讓 Linux 流量控制器（tc 指令）可以識別來自特定 cgroup 任務的資料包，並進行網路限制。
net_prio 允許基於 cgroup 設定網路流量(netowork traffic)的優先順序。
perf_event 允許使用 perf 工具來監控 cgroup。
pids 限制任務的數量。
Hierarchy(層級) 層級有一系列 cgroup 以一個樹狀結構排列而成，每個層級通過繫結對應的子系統進行資源控制。層級中的 cgroup 節點可以包含零個或多個子節點，子節點繼承父節點掛載的子系統。一個作業系統中可以有多個層級。
cgroups 的檔案系統介面
cgroups 以檔案的方式提供應用介面，我們可以通過 mount 命令來檢視 cgroups 預設的掛載點：
|
1 |
$ mount | grep cgroup |
第一行的 tmpfs 說明 /sys/fs/cgroup 目錄下的檔案都是存在於記憶體中的臨時檔案。
第二行的掛載點 /sys/fs/cgroup/systemd 用於 systemd 系統對 cgroups 的支援，相關內容筆者今後會做專門的介紹。
其餘的掛載點則是核心支援的各個子系統的根級層級結構。
需要注意的是，在使用 systemd 系統的作業系統中，/sys/fs/cgroup 目錄都是由 systemd 在系統啟動的過程中掛載的，並且掛載為只讀的型別。換句話說，系統是不建議我們在 /sys/fs/cgroup 目錄下建立新的目錄並掛載其它子系統的。這一點與之前的作業系統不太一樣。
下面讓我們來探索一下 /sys/fs/cgroup 目錄及其子目錄下都是些什麼：
/sys/fs/cgroup 目錄下是各個子系統的根目錄。我們以 memory 子系統為例，看看 memory 目錄下都有什麼？
這些檔案就是 cgroups 的 memory 子系統中的根級設定。比如 memory.limit_in_bytes 中的數字用來限制程式的最大可用記憶體，memory.swappiness 中儲存著使用 swap 的權重等等。
既然 cgroups 是以這些檔案作為 API 的，那麼我就可以通過建立或者是修改這些檔案的內容來應用 cgroups。具體該怎麼做呢？比如我們怎麼才能限制某個程式可以使用的資源呢？接下來我們就通過簡單的 demo 來演示如何使用 cgroups 限制程式可以使用的資源。
檢視程式所屬的 cgroups
可以通過 /proc/[pid]/cgroup 來檢視指定程式屬於哪些 cgroup：
每一行包含用冒號隔開的三列，他們的含義分別是：
- cgroup 樹的 ID， 和 /proc/cgroups 檔案中的 ID 一一對應。
- 和 cgroup 樹繫結的所有 subsystem，多個 subsystem 之間用逗號隔開。這裡 name=systemd 表示沒有和任何 subsystem 繫結，只是給他起了個名字叫 systemd。
- 程式在 cgroup 樹中的路徑，即程式所屬的 cgroup，這個路徑是相對於掛載點的相對路徑。
既然 cgroups 是以這些檔案作為 API 的，那麼我就可以通過建立或者是修改這些檔案的內容來應用 cgroups。具體該怎麼做呢？比如我們怎麼才能限制某個程式可以使用的資源呢？接下來我們就通過簡單的 demo 來演示如何使用 cgroups 限制程式可以使用的資源。
cgroups 工具
在介紹通過 systemd 應用 cgroups 之前，我們先使用 cgroup-bin 工具包中的 cgexec 來演示 demo。Ubuntu 預設沒有安裝 cgroup-bin 工具包，請通過下面的命令安裝：
|
1 |
$ sudo apt install cgroup-bin |
demo：限制程式可用的 CPU
在我們使用 cgroups 時，最好不要直接在各個子系統的根目錄下直接修改其配置檔案。推薦的方式是為不同的需求在子系統樹中定義不同的節點。比如我們可以在 /sys/fs/cgroup/cpu 目錄下新建一個名稱為 nick_cpu 的目錄：
|
1 2 |
$ cd /sys/fs/cgroup/cpu $ sudo mkdir nick_cpu |
然後檢視新建的目錄下的內容：
是不是有點吃驚，cgroups 的檔案系統會在建立檔案目錄的時候自動建立這些配置檔案！
讓我們通過下面的設定把 CPU 週期限制為總量的十分之一：
|
1 2 3 |
$ sudo su $ echo 100000 > nick_cpu/cpu.cfs_period_us $ echo 10000 > nick_cpu/cpu.cfs_quota_us |
上面的兩個引數眼熟嗎？沒錯，筆者在《Docker: 限制容器可用的 CPU》一文中介紹的 “–cpu-period=100000 –cpu-quota=200000” 就是由它們實現的。
然後建立一個 CPU 密集型的程式：
|
1 2 3 4 5 6 7 8 9 10 |
void main() { unsigned int i, end; end = 1024 * 1024 * 1024; for(i = 0; i < end; ) { i ++; } } |
儲存為檔案 cputime.c 編譯並通過不同的方式執行：
|
1 2 3 4 |
$ gcc cputime.c -o cputime $ sudo su $ time ./cputime $ time cgexec -g cpu:nick_cpu ./cputime |
time 命令可以為我們報告程式執行消耗的時間，其中的 real 就是我們真實感受到的時間。使用 cgexec 能夠把我們新增的 cgroup 配置 nick_cpu 應用到執行 cputime 程式的程式上。 上圖顯示，預設的執行只需要 2s 左右。通過 cgroups 限制 CPU 資源後需要執行 23s。
demo：限制程式可用的記憶體
這次我們來限制程式可用的最大記憶體，在 /sys/fs/cgroup/memory 下建立目錄nick_memory：
|
1 2 |
$ cd /sys/fs/cgroup/memory $ sudo mkdir nick_memory |
下面的設定把程式的可用記憶體限制在最大 300M，並且不使用 swap：
|
1 2 3 4 |
# 實體記憶體 + SWAP <= 300 MB；1024*1024*300 = 314572800 $ sudo su $ echo 314572800 > nick_memory/memory.limit_in_bytes $ echo 0 > nick_memory/memory.swappiness |
然後建立一個不斷分配記憶體的程式，它分五次分配記憶體，每次申請 100M：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
#include <stdio.h> #include <stdlib.h> #include <string.h> #define CHUNK_SIZE 1024 * 1024 * 100 void main() { char *p; int i; for(i = 0; i < 5; i ++) { p = malloc(sizeof(char) * CHUNK_SIZE); if(p == NULL) { printf("fail to malloc!"); return ; } // memset() 函式用來將指定記憶體的前 n 個位元組設定為特定的值 memset(p, 0, CHUNK_SIZE); printf("malloc memory %d MB\n", (i + 1) * 100); } } |
把上面的程式碼儲存為 mem.c 檔案，然後編譯：
|
1 |
$ gcc mem.c -o mem |
執行生成的 mem 程式：
|
1 |
$ ./mem |
此時一切順利，然後加上剛才的約束試試：
|
1 |
$ cgexec -g memory:nick_memory ./mem |
由於記憶體不足且禁止使用 swap，所以被限制資源的程式在申請記憶體時被強制殺死了。
下面再使用 stress 程式測試一個類似的場景(通過 stress 程式申請 500M 的記憶體)：
|
1 |
$ sudo cgexec -g memory:nick_memory stress --vm 1 --vm-bytes 500000000 --vm-keep --verbose |
stress 程式能夠提供比較詳細的資訊，程式被殺掉的方式是收到了 SIGKILL(signal 9) 訊號。
實際應用中往往要同時限制多種的資源，比如既限制 CPU 資源又限制記憶體資源。使用 cgexec 實現這樣的用例其實很簡單，直接指定多個 -g 選項就可以了：
|
1 |
$ cgexec -g cpu:nick_cpu -g memory:nick_memory ./cpumem |
總結
cgroups 是 linux 核心提供的功能，由於牽涉的概念比較多，所以不太容易理解。本文試圖在介紹概念性內容的同時，用最簡單的 demo 演示 cgroups 的用法。希望直觀的 demo 能夠幫助大家理解 cgroups。
參考：