核心必須懂(五): per-CPU變數

Sorrower發表於2019-03-30

前言

之前核心必須懂(四): 撰寫核心驅動說到了基礎的驅動模組寫法. 這次目標就是計算進入驅動ioctl或者其他某個驅動函式的次數. 當然, 你可能會覺得, 這弄個全域性變數計數不就完了嗎? 但是這裡的要求是要並行進行訪問, 所以統計的是多核多執行緒的訪問次數. 是不是感覺沒有那麼簡單了? 你可能會回答, 上鎖, 那基本等於序列, 太low, 這裡展示真正的並行訪問與計數.

使用者態程式碼

先來看下使用者態程式碼:

#include <iostream>
#include <sys/ioctl.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <string>

using namespace std;

#define NUM_THREADS 20 

// 檔案描述符
int fd = 0;

// 多執行緒呼叫函式
void *pthread_fx( void *args ) {
	ioctl( fd, 1, 0 );
}

int main() {
	int ret = 0;
	
	// 開啟檔案
	if((fd = open("/dev/hellodr", O_RDWR)) < 0) {
		cerr << strerror(errno) << endl;
		return -1;
	}

	// 開啟多執行緒
	pthread_t tids[NUM_THREADS];
	for ( int i = 0; i < NUM_THREADS; ++i ) {
		ret = pthread_create( &tids[i], NULL, pthread_fx, NULL );
		if ( ret != 0 ) {
			printf( "pthread_create error: error_code = %d\n", ret );
		}
	}

	// 回收執行緒資源
	for ( int i = 0; i < NUM_THREADS; ++i ) {
		pthread_join(tids[i], NULL);
	}

	// 關閉檔案
	close( fd );
	
	return 0;
}
複製程式碼

這裡就是開20個執行緒呼叫驅動的ioctl函式. 沒什麼要說的.

驅動程式碼

是依據上一次的內容核心必須懂(四): 撰寫核心驅動擴充套件的, 變化基本在DriverClose和DriverIOControl兩個函式中.

#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/fs.h>
#include <linux/init.h>
#include <linux/delay.h>

#define    MAJOR_NUM    231
#define    DEVICE_NAME  "hellodr"

DEFINE_PER_CPU( long, gUsage ) = 0;

int DriverOpen( struct inode *pslINode, struct file *pslFileStruct )
{
    printk( KERN_ALERT DEVICE_NAME " hello open.\n" );
    return(0);
}


ssize_t DriverWrite( struct file *pslFileStruct, const char __user *pBuffer, size_t nCount, loff_t *pOffset )
{
    printk( KERN_ALERT DEVICE_NAME " hello write.\n" );
    return(0);
}


int DriverClose( struct inode *pslINode, struct file *pslFileStruct )
{
    int     i       = 0;
    unsigned long   ulBaseAddr  = 0;
    unsigned long   ulOffset    = 0;
    long        *pUsage     = NULL;
    long        usageSum    = 0;

    ulOffset = (unsigned long) (&gUsage);
    for_each_online_cpu( i )
    {
        ulBaseAddr  = __per_cpu_offset[i];
        pUsage      = (long *) (ulBaseAddr + ulOffset);
        usageSum    += (*pUsage);
        printk( KERN_ALERT DEVICE_NAME " pUsage = %lx, *pUsage = %ld\n", (unsigned long) pUsage, *pUsage );
    }
    printk( KERN_ALERT DEVICE_NAME " %ld\n", usageSum );

    return(0);
}


long DriverIOControl( struct file *pslFileStruct, unsigned int uiCmd, unsigned long ulArg )
{
    long *pUsage = NULL;
    /* printk( KERN_ALERT DEVICE_NAME ": pUsage = 0x%lx %lx %ld", (unsigned long) pUsage, (unsigned long) (&gUsage), (*pUsage) ); */
    preempt_disable();
    pUsage = this_cpu_ptr( (long *) (&gUsage) );
    (*pUsage)++;
    preempt_enable();
    return(0);
}


struct file_operations hello_flops = {
    .owner      = THIS_MODULE,
    .open       = DriverOpen,
    .write      = DriverWrite,
    .release    = DriverClose,
    .unlocked_ioctl = DriverIOControl
};

static int __init hello_init( void )
{
    int ret;

    ret = register_chrdev( MAJOR_NUM, DEVICE_NAME, &hello_flops );
    if ( ret < 0 )
    {
        printk( KERN_ALERT DEVICE_NAME " can't register major number.\n" );
        return(ret);
    }
    printk( KERN_ALERT DEVICE_NAME " initialized.\n" );
    return(0);
}


static void __exit hello_exit( void )
{
    printk( KERN_ALERT DEVICE_NAME " removed.\n" );
    unregister_chrdev( MAJOR_NUM, DEVICE_NAME );
}


module_init( hello_init );
module_exit( hello_exit );
MODULE_LICENSE( "GPL" );
MODULE_AUTHOR( "Sean Depp" );
複製程式碼

per-CPU變數

但是在說程式碼之前, 要說一下per-CPU變數變數, 也就是 DEFINE_PER_CPU( long, gUsage ) = 0; 這一行. 可以先看看這篇文章和這篇文章, 簡單來說就是在單cpu環境下生效的變數. 那你可能會說, 我就一個核啊, 豈不是沒用了, 但是這是相對於虛擬cpu來說的, 也就是說, 如果你是4核8執行緒, 就可以同時有8個這樣的per-CPU變數生效. 正因為有這樣的變數, 計數變得非常簡單, 只需要統計每個cpu中的這個變數即可. 還有個問題需要解決, 那就是獲取每個cpu的基地址, 這裡又有一個巨集for_each_online_cpu(), 只需要給個變數即可迴圈輸出活躍的cpu了. 巨集真是好東西哦~

關閉搶佔

多核情況下, 就還有一個問題, 搶佔. 當然了, 這裡的程式碼簡單, 不關閉搶佔大多數情況下也不會出錯, 但是情況複雜的話, 出錯概率就會大大提高, 甚至你不知道怎麼錯的. 而且這可是核心, 錯了往往十分致命.

preempt_disable();
pUsage = this_cpu_ptr( (long *) (&gUsage) );
(*pUsage)++;
preempt_enable();
複製程式碼

這裡還有一個巨集this_cpu_ptr, 獲取per cpu變數的線性地址. 這是作業系統的知識了, 我就不多說了, 自行google咯. 那我來說一下, 為什麼要關閉搶佔. 試想一下, 獲取到地址之後, 正打算++操作, 結果中斷搶佔, 到了另一個核, 之前的地址就對不上了, 這時候進行++操作就完全不對了. 所以為了不發生這樣的問題, 就需要關閉搶佔, 當然, 關閉中斷也行, 但是中斷對作業系統影響太大了, 不推薦.