Linux--程序繫結NUMA節點或cpu核心

心恩惠动發表於2024-07-22
Linux

對於cpu和NUMA架構本文不再做敘述，感興趣的可自行檢視：https://www.cnblogs.com/Xinenhui/p/17972709，https://www.cnblogs.com/Xinenhui/p/17897482.html

1、程序繫結NUMA節點或cpu核心的意義

NUMA 架構將記憶體和cpu分散在不同的 NUMA 節點上，每個節點都有自己的本地記憶體和cpu處理器，將程序繫結到特定的 NUMA 節點或cpu上，可以讓程序直接訪問本地記憶體和CPU，減少訪問遠端節點開銷，提高訪問速度，從而提高程式效能。

注：不可多程序繫結同一個節點或cpu，這樣反而會使該節點產生資源競爭，降低效能。

2、檢視NUMA架構的資訊

[root@test ~]# yum -y install numactl
[root@test ~]# numactl -H
available: 2 nodes (0-1)    #有兩個NUMA節點，編號0,1
node 0 cpus: 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30    #節點0包含的cpu核心編號
node 0 size: 65442 MB       #節點0共有65442MB的記憶體容量
node 0 free: 5901 MB        #節點0當前有5091MB的記憶體空閒
node 1 cpus: 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31
node 1 size: 65536 MB
node 1 free: 5133 MB
node distances:            #不同node之間發訪問距離(跳數)，如[0,0] 表示node 0的本地記憶體訪問距離為10。跳數(hops)：表示從一個節點到達另一個節點所需的記憶體訪問步驟數，並不是一個精確的時間或距離單位，而是一種相對指標。
node   0   1 
  0:  10  21 
  1:  21  10 
[root@test ~]# 

[root@test ~]# lscpu
...
#系統的NUMA節點和 CPU 核心編號的對映
NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30
NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31
...
[root@test ~]# 

[root@test ~]# yum -y install hwloc
[root@test ~]# lstopo-no-graphics 
Machine (128GB total)    　　 #總共有128GB記憶體
  NUMANode L#0 (P#0 64GB)    #節點 L#0 有64GB記憶體
    Package L#0 + L3 L#0 (20MB)
      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0
        PU L#0 (P#0)
        PU L#1 (P#16)
      L2 L#1 (256KB) + L1d L#1 (32KB) + L1i L#1 (32KB) + Core L#1
        PU L#2 (P#2)
        PU L#3 (P#18)
      L2 L#2 (256KB) + L1d L#2 (32KB) + L1i L#2 (32KB) + Core L#2
        PU L#4 (P#4)
        PU L#5 (P#20)
      L2 L#3 (256KB) + L1d L#3 (32KB) + L1i L#3 (32KB) + Core L#3
        PU L#6 (P#6)
        PU L#7 (P#22)
      L2 L#4 (256KB) + L1d L#4 (32KB) + L1i L#4 (32KB) + Core L#4
        PU L#8 (P#8)
        PU L#9 (P#24)
      L2 L#5 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5
        PU L#10 (P#10)
        PU L#11 (P#26)
      L2 L#6 (256KB) + L1d L#6 (32KB) + L1i L#6 (32KB) + Core L#6
        PU L#12 (P#12)
        PU L#13 (P#28)
      L2 L#7 (256KB) + L1d L#7 (32KB) + L1i L#7 (32KB) + Core L#7
        PU L#14 (P#14)
        PU L#15 (P#30)
    HostBridge L#0
      PCIBridge
        PCI 1000:005d
          Block L#0 "sda"
      PCIBridge
        2 x { PCI 8086:154d }
      PCIBridge
        4 x { PCI 8086:1521 }
      PCI 8086:8d62
      PCIBridge
        PCIBridge
          PCIBridge
            PCIBridge
              PCI 102b:0534
                GPU L#1 "card0"
                GPU L#2 "controlD64"
      PCI 8086:8d02
  NUMANode L#1 (P#1 64GB) + Package L#1 + L3 L#1 (20MB)
    L2 L#8 (256KB) + L1d L#8 (32KB) + L1i L#8 (32KB) + Core L#8
      PU L#16 (P#1)
      PU L#17 (P#17)
    L2 L#9 (256KB) + L1d L#9 (32KB) + L1i L#9 (32KB) + Core L#9
      PU L#18 (P#3)
      PU L#19 (P#19)
    L2 L#10 (256KB) + L1d L#10 (32KB) + L1i L#10 (32KB) + Core L#10
      PU L#20 (P#5)
      PU L#21 (P#21)
    L2 L#11 (256KB) + L1d L#11 (32KB) + L1i L#11 (32KB) + Core L#11
      PU L#22 (P#7)
      PU L#23 (P#23)
    L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12
      PU L#24 (P#9)
      PU L#25 (P#25)
    L2 L#13 (256KB) + L1d L#13 (32KB) + L1i L#13 (32KB) + Core L#13
      PU L#26 (P#11)
      PU L#27 (P#27)
    L2 L#14 (256KB) + L1d L#14 (32KB) + L1i L#14 (32KB) + Core L#14
      PU L#28 (P#13)
      PU L#29 (P#29)
    L2 L#15 (256KB) + L1d L#15 (32KB) + L1i L#15 (32KB) + Core L#15
      PU L#30 (P#15)
      PU L#31 (P#31)
[root@test ~]#

3、繫結

注：下述繫結方法都屬於臨時繫結，程序重啟後失效；要永久生效，請在應用程式中設定繫結或配置檔案裡提前配置。

3.1 繫結NUMA節點
#執行前執行，將程序執行的cpu跟記憶體繫結到節點0上
numactl --cpunodebind=0 --membind=0 程式名

#接啟動命令
numactl --cpunodebind=0 --membind=0 /usr/sbin/nginx

檢視程序執行記憶體資訊

[root@test ~]# numastat -p 223736

Per-node process memory usage (in MBs) for PID 223736 (nginx)
                           Node 0          Node 1           Total
                  --------------- --------------- ---------------
Huge                         0.00            0.00            0.00　　#使用的大頁記憶體
Heap                         0.94            0.00            0.94　　#堆記憶體
Stack                        0.02            0.00            0.02　　#棧記憶體
Private                      1.17            0.07            1.24　　#其他使用記憶體
----------------  --------------- --------------- ---------------
Total                        2.13            0.07            2.21

檢視程序繫結cpu核心

[root@test ~]# taskset -c -p 223736
pid 223736's current affinity list: 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30

檢視程序的 PID、所執行的 CPU 核心編號以及命令名稱

[root@test ~]# ps -o pid,psr,comm -p 223736
   PID PSR COMMAND
223736  22 nginx

3.2 繫結cpu核心
#繫結執行在6號cpu上
taskset -c 6 /usr/sbin/nginx

#繫結執行在0-6號cpu上
taskset -c 0,6 /usr/sbin/nginx

#繫結到NUMA架構1號節點上
numactl --cpubind=1 /usr/sbin/nginx
numactl --cpunodebind=1 /usr/sbin/nginx

檢視程序執行在哪個cpu上

[root@test ~]# taskset -c -p 219877
pid 219877's current affinity list: 6

[root@test ~]# ps -o pid,psr,comm -p 219877
   PID PSR COMMAND
219877   6 nginx

相關文章