網路程式設計學習——Linux epoll多路複用模型

前言

後端開發的應該都知道Nginx伺服器，Nginx是一個高效能的 HTTP 和反向代理伺服器，也是一個 IMAP/POP3/SMTP 代理伺服器。後端部署中一般使用的就是Nginx反向代理技術。

Nginx 相較於 Apache 具有佔有記憶體少，穩定性高等優勢，併發能力強的優點。它所使用的網路通訊模型就是epoll。

(*注：epoll模型程式設計例項需要先了解紅黑樹、tcp/ip、socket、檔案描述符fd、阻塞、回撥等概念)

 

epoll介紹

一、epoll模型概念整理

傳統的併發伺服器Apache，使用的是多程式/執行緒模型，每一個客戶端請求都要開啟一個程式去處理，佔用的資源大。

epoll是一個I/O多路複用模型，可以用一個程式去處理處理多個客戶端。

epoll是在2.6核心中提出的，是之前的select和poll的增強版本。關於select和poll是更早的多路複用IO模型，這裡不做介紹。

相對於select和poll來說，epoll更加靈活，沒有描述符限制。

epoll使用一個檔案描述符管理多個描述符，將使用者關心的檔案描述符的事件存放到核心的一個事件表中，這樣在使用者空間和核心空間的copy只需一次。

epoll是基於事件驅動模型。展開應該叫event poll，事件輪詢（猜測），所以程式圍繞著event執行。

 

二、epoll模型詳細執行過程

在Linux中，epoll模型相關的有3個系統API，通過man 2檢視手冊。

int epoll_create(int size);
int epoll_ctl(int  epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

*此外還有一個close()，create返回的是一個檔案描述符int epoll_fd，結束時和普通fd一樣要關閉，保證邏輯的完整性。

1.第一步，建立eventepoll結構體

當某一程式調用epoll_create函式時（引數size是事件最大數量，實際上這只是給核心的一個參考值，Linux2.6.8以後這個引數被忽略，但是api文件仍然建議填寫），

Linux核心會建立一個eventpoll結構體，並返回一個int epoll_fd，這就是epoll通過一個檔案描述符操作多個檔案描述符的方法。

這個結構體中有兩個成員與epoll的使用方式密切相關。

eventpoll結構體如下所示：

struct eventpoll{
　　struct rb_root rbr;
　　struct list_head rdlist;
};

其中rbr是一個紅黑樹，它的每個結點用來儲存使用者關心的事件（使用者關心的事件，比如服務端server_fd的accept連線請求就是一個事件）。

rblist是一個雙向連結串列用來儲存已發生的事件。

事件的結構體如下所示：

typedef union epoll_data {
　　void *ptr;
　　int fd;　　/*事件對應的檔案描述符*/
　　uint32_t u32;
　　uint64_t u64;
}epoll_data_t;

struct epoll_event {
　　uint32_t events;    /* Epoll events */
　　epoll_data_t data;      /* User data variable */
};

一個事件應該對應至少著一個檔案描述符加I/O操作，代表這個事件對應的檔案描述符和它是讀事件還是寫事件。

對應的I/O操作再epoll_event結構體中是同一個變數events，通過"按位或"操作可以同時新增關心讀和寫事件，"按位與"操作把它讀取。

而它對應的檔案描述符不直接在epoll_event結構體下，而是epoll_eventd的data union體下的fd。

 

2. 第二步，epoll_ctl操作紅黑樹

當使用者調用epoll_ctl向結構體加入event時，會把事件掛在到紅黑樹rbr中。

而所有新增到epoll中的事件都會與低層介面（裝置、網路卡驅動程式）建立回撥關係，也就是說，當相應的事件發生時會呼叫這個回撥方法。

這個回撥方法在核心中叫ep_poll_callback，這個過程中，因為使用者關心的事件掛載在紅黑樹上，所以查詢效率高只有O(ln(n))的事件複雜度。

然後它會將發生的事件新增到rdlist雙連結串列中。紅黑樹加上函式回撥的機制造就了它的高效。

 epoll_event示意圖

 

3. 第三步，epoll_wait檢查雙向連結串列

當呼叫epoll_wait檢查是否有事件發生時，只需要檢查eventpoll物件中的rdlist雙連結串列中是否有epitem元素即可。

如果rdlist不為空，則把發生的事件複製到使用者態（把核心的雙向連結串列拷貝成一個struct epoll_event陣列），同時返回檔案描述符的數量。

使用者只需要用這個陣列去接收就可以。

為什麼這裡要用雙向連結串列而不是單連結串列？

就緒列表引用著就緒的Socket，所以它應能夠快速的插入資料。程式可能隨時呼叫 epoll_ctl 新增監視Socket，也可能隨時刪除。

當刪除時，若該Socket 已經存放在就緒列表中，它也應該被移除。所以就緒列表應是一種能夠快速插入和刪除的資料結構。

雙向連結串列就是這樣一種資料結構，Epoll 使用雙向連結串列來實現就緒佇列。

 

三、程式設計例項

具體實現可以用一個程式去處理多客戶端請求，而不用

1. 使用的標頭檔案

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <pthread.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <errno.h>
#include <sys/time.h>
#include <sys/epoll.h>　　/* epoll模型api */

2. 函式宣告

#define SERV_PORT 5001
#define SERV_IP_ADDR "192.168.1.7"
#define QUIT "quit"　　/*使用者退出指令*/
#define BACKLOG 5　　/*監聽的最大等待連線佇列*/
#define EPOSIZE 100　　/*接收已發生事件的最大數量*/

/* 套接字初始化的封裝 */
int sock_init(int fd, struct sockaddr_in *sin); 

/* epoll_wait獲得已發生的事件集合之後，具體的業務邏輯 */
void handle_events(int epoll_fd, struct epoll_event *events, int num, int accept_fd); 

/* 具體操作1，接收客戶端連線 */
void do_accpet(int epoll_fd, int accept_fd); 

/* 具體操作2，讀操作 */
void do_read(int epoll_fd, int fd, char *buff); 

/* 具體操作3，寫操作 */
void do_write(int epoll_fd, int fd, char *buff); 

/*把epoll_ctl函式的操作再封裝*/
void event_ctl(int epoll_fd, int fd, int flag, int state);
/* 
argument: flag
EPOLL_CTL_ADD    新增事件
EPOLL_CTL_DEL    刪除事件
EPOLL_CTL_MOD    修改事件

argument: state
EPOLLIN    input事件
EPOLLOUT    output事件
*/ 

3. demo實現

#include "server.h"
int main()
{
    int ret = -1;
    int accept_fd = socket(AF_INET, SOCK_STREAM, 0);
    if(accept_fd < 0)
    {
        perror("socket");
        return 1;
    }

    struct sockaddr_in sin;
    ret = sock_init(accept_fd, &sin);
    if(ret < 0)
    {
        perror("sock_init");
        return 2;
    }

    int epoll_fd = epoll_create(EPOSIZE);
    struct epoll_event events[EPOSIZE];/*使用者空間陣列去接收核心的雙向連結串列*/
    event_ctl(epoll_fd, accept_fd, EPOLL_CTL_ADD, EPOLLIN);//先把server_fd accept input事件加入紅黑樹

    while(1)
    {
        ret = epoll_wait(epoll_fd, events, EPOSIZE, -1);/*引數4，超時時間，特別的-1為阻塞等待，詳見linux api: man 2 epoll_wait*/
        handle_events(epoll_fd, events, ret, accept_fd);
    }

    close(epoll_fd);
    close(accept_fd);
}

int sock_init(int fd, struct sockaddr_in *sin)
{
    bzero(sin,sizeof(*sin));
    sin->sin_family = AF_INET;
    sin->sin_port = htons(SERV_PORT);
    sin->sin_addr.s_addr = INADDR_ANY;
    if(bind(fd, (struct sockaddr*)sin, sizeof(*sin)) < 0)
    {
        perror("bind");
        return -1;
    }

    if(listen(fd, BACKLOG) < 0)
    {
        perror("listen");
        return -2;
    }
    return 0;
}


void handle_events(int epoll_fd, struct epoll_event *events, int num, int accept_fd)
{
    int i,fd;
    char buff[BUFSIZ];
    for(i=0; i<num; i++)
    {
        fd = events[i].data.fd;
        if((fd == accept_fd) && events[i].events & EPOLLIN)/* 對events和EPOLLIN“與”操作，判斷這個檔案描述符是否有input事件*/
            do_accpet(epoll_fd, fd);
        else if(events[i].events & EPOLLIN)
            do_read(epoll_fd, fd, buff);
        else if(events[i].events & EPOLLOUT)
            do_write(epoll_fd, fd, buff);
    }

}

void do_accpet(int epoll_fd, int accept_fd)
{
    int new_fd;
    struct sockaddr_in cin;
    socklen_t len;
    new_fd = accept(accept_fd, (struct sockaddr*)&cin, &len);
    if(new_fd < 0)
    {
        perror("accpet");
        return;
    }
    printf("a new client connected!\n");

　　/*add_event input，
　　client連線之後，把它的檔案描述符的input事件加入到紅黑樹中*/
　　*/

    event_ctl(epoll_fd, new_fd, EPOLL_CTL_ADD, EPOLLIN);
}

void do_read(int epoll_fd, int fd, char *buff)
{
    int ret = -1;
    bzero(buff, BUFSIZ);
    ret = read(fd, buff, BUFSIZ-1);
    if(ret == 0 || !strncmp(buff, QUIT, strlen(QUIT)))
    {
        printf("a client quit.\n");
        close(fd);
        event_ctl(epoll_fd, fd, EPOLL_CTL_DEL, EPOLLIN);//delete_event in
        return;
    }
    
    if(ret < 0)
    {
        perror("read");
        return;
    }
    printf("%s\n", buff);
    event_ctl(epoll_fd, fd, EPOLL_CTL_MOD, EPOLLOUT);//modif_event out
}

void do_write(int epoll_fd, int fd, char *buff)
{
    int ret = -1;
    ret = write(fd, buff, strlen(buff));
    if(ret <= 0)
        perror("write");
    event_ctl(epoll_fd, fd, EPOLL_CTL_MOD, EPOLLIN);//modif_event in
}

/* 
參考的資料中把他分成幾個操作，更直觀
這裡為了方便多加一個引數，增加事件/刪除事件/修改事件/，把增刪改整合到一個函式。
*/
void event_ctl(int epoll_fd, int fd, int flag, int state)
{
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    epoll_ctl(epoll_fd, flag, fd, &ev);
}

 

四、其它

觸發模式

關於epoll的水平觸發LT和邊緣觸發ET還沒研究清楚，

應該是類似驅動程式中檢測硬體訊號中，高/低電平觸發，上升沿/下降沿觸發。

* !!FIXME

 

參考資料：

https://www.cnblogs.com/Anker/archive/2013/08/17/3263780.html

https://blog.csdn.net/u011063112/article/details/81771440

https://blog.csdn.net/armlinuxww/article/details/92803381