網路程式設計學習——Linux epoll多路複用模型

zj城城城城發表於2022-04-06

前言

後端開發的應該都知道Nginx伺服器,Nginx是一個高效能的 HTTP 和反向代理伺服器,也是一個 IMAP/POP3/SMTP 代理伺服器。後端部署中一般使用的就是Nginx反向代理技術。

Nginx 相較於 Apache 具有佔有記憶體少,穩定性高等優勢,併發能力強的優點。它所使用的網路通訊模型就是epoll。

(*注:epoll模型程式設計例項需要先了解紅黑樹、tcp/ip、socket、檔案描述符fd、阻塞、回撥等概念)

 

epoll介紹

一、epoll模型概念整理

傳統的併發伺服器Apache,使用的是多程式/執行緒模型,每一個客戶端請求都要開啟一個程式去處理,佔用的資源大。

epoll是一個I/O多路複用模型,可以用一個程式去處理處理多個客戶端。

epoll是在2.6核心中提出的,是之前的select和poll的增強版本。關於select和poll是更早的多路複用IO模型,這裡不做介紹。

相對於select和poll來說,epoll更加靈活,沒有描述符限制。

epoll使用一個檔案描述符管理多個描述符,將使用者關心的檔案描述符的事件存放到核心的一個事件表中,這樣在使用者空間和核心空間的copy只需一次。

epoll是基於事件驅動模型。展開應該叫event poll,事件輪詢(猜測),所以程式圍繞著event執行。

 

二、epoll模型詳細執行過程

在Linux中,epoll模型相關的有3個系統API,通過man 2檢視手冊。

int epoll_create(int size);
int epoll_ctl(int  epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

*此外還有一個close(),create返回的是一個檔案描述符int epoll_fd,結束時和普通fd一樣要關閉,保證邏輯的完整性。

1.第一步,建立eventepoll結構體

當某一程式調用epoll_create函式時(引數size是事件最大數量,實際上這只是給核心的一個參考值,Linux2.6.8以後這個引數被忽略,但是api文件仍然建議填寫),

Linux核心會建立一個eventpoll結構體,並返回一個int epoll_fd,這就是epoll通過一個檔案描述符操作多個檔案描述符的方法。

這個結構體中有兩個成員與epoll的使用方式密切相關。

eventpoll結構體如下所示:

struct eventpoll{
  struct rb_root rbr;
  struct list_head rdlist;
};

中rbr是一個紅黑樹,它的每個結點用來儲存使用者關心的事件(使用者關心的事件,比如服務端server_fd的accept連線請求就是一個事件)。

rblist是一個雙向連結串列用來儲存已發生的事件。

事件的結構體如下所示:

typedef union epoll_data {
  void *ptr;
  int fd;  /*事件對應的檔案描述符*/
  uint32_t u32;
  uint64_t u64;
}epoll_data_t;

struct epoll_event {
  uint32_t events;    /* Epoll events */
  epoll_data_t data;      /* User data variable */
};

一個事件應該對應至少著一個檔案描述符加I/O操作,代表這個事件對應的檔案描述符和它是讀事件還是寫事件。

對應的I/O操作再epoll_event結構體中是同一個變數events,通過"按位或"操作可以同時新增關心讀和寫事件,"按位與"操作把它讀取。

而它對應的檔案描述符不直接在epoll_event結構體下,而是epoll_eventd的data union體下的fd。

 

2. 第二步,epoll_ctl操作紅黑樹

當使用者調用epoll_ctl向結構體加入event時,會把事件掛在到紅黑樹rbr中。

而所有新增到epoll中的事件都會與低層介面(裝置、網路卡驅動程式)建立回撥關係,也就是說,當相應的事件發生時會呼叫這個回撥方法。

這個回撥方法在核心中叫ep_poll_callback,這個過程中,因為使用者關心的事件掛載在紅黑樹上,所以查詢效率高只有O(ln(n))的事件複雜度。

然後它會將發生的事件新增到rdlist雙連結串列中。紅黑樹加上函式回撥的機制造就了它的高效。

 epoll_event示意圖

 

3. 第三步,epoll_wait檢查雙向連結串列

當呼叫epoll_wait檢查是否有事件發生時,只需要檢查eventpoll物件中的rdlist雙連結串列中是否有epitem元素即可。

如果rdlist不為空,則把發生的事件複製到使用者態(把核心的雙向連結串列拷貝成一個struct epoll_event陣列),同時返回檔案描述符的數量。

使用者只需要用這個陣列去接收就可以。

為什麼這裡要用雙向連結串列而不是單連結串列?

就緒列表引用著就緒的Socket,所以它應能夠快速的插入資料。程式可能隨時呼叫 epoll_ctl 新增監視Socket,也可能隨時刪除。

當刪除時,若該Socket 已經存放在就緒列表中,它也應該被移除。所以就緒列表應是一種能夠快速插入和刪除的資料結構。

雙向連結串列就是這樣一種資料結構,Epoll 使用雙向連結串列來實現就緒佇列。

 

三、程式設計例項

具體實現可以用一個程式去處理多客戶端請求,而不用

1. 使用的標頭檔案

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <pthread.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <errno.h>
#include <sys/time.h>
#include <sys/epoll.h>  /* epoll模型api */

2. 函式宣告

#define SERV_PORT 5001
#define SERV_IP_ADDR "192.168.1.7"
#define QUIT "quit"  /*使用者退出指令*/
#define BACKLOG 5  /*監聽的最大等待連線佇列*/
#define EPOSIZE 100  /*接收已發生事件的最大數量*/

/* 套接字初始化的封裝 */ int sock_init(int fd, struct sockaddr_in *sin); /* epoll_wait獲得已發生的事件集合之後,具體的業務邏輯 */ void handle_events(int epoll_fd, struct epoll_event *events, int num, int accept_fd); /* 具體操作1,接收客戶端連線 */ void do_accpet(int epoll_fd, int accept_fd); /* 具體操作2,讀操作 */ void do_read(int epoll_fd, int fd, char *buff); /* 具體操作3,寫操作 */ void do_write(int epoll_fd, int fd, char *buff); /*把epoll_ctl函式的操作再封裝*/ void event_ctl(int epoll_fd, int fd, int flag, int state); /* argument: flag EPOLL_CTL_ADD 新增事件 EPOLL_CTL_DEL 刪除事件 EPOLL_CTL_MOD 修改事件 argument: state EPOLLIN input事件 EPOLLOUT output事件 */

3. demo實現

#include "server.h"
int main()
{
    int ret = -1;
    int accept_fd = socket(AF_INET, SOCK_STREAM, 0);
    if(accept_fd < 0)
    {
        perror("socket");
        return 1;
    }

    struct sockaddr_in sin;
    ret = sock_init(accept_fd, &sin);
    if(ret < 0)
    {
        perror("sock_init");
        return 2;
    }

    int epoll_fd = epoll_create(EPOSIZE);
    struct epoll_event events[EPOSIZE];/*使用者空間陣列去接收核心的雙向連結串列*/
    event_ctl(epoll_fd, accept_fd, EPOLL_CTL_ADD, EPOLLIN);//先把server_fd accept input事件加入紅黑樹

    while(1)
    {
        ret = epoll_wait(epoll_fd, events, EPOSIZE, -1);/*引數4,超時時間,特別的-1為阻塞等待,詳見linux api: man 2 epoll_wait*/
        handle_events(epoll_fd, events, ret, accept_fd);
    }

    close(epoll_fd);
    close(accept_fd);
}
int sock_init(int fd, struct sockaddr_in *sin) { bzero(sin,sizeof(*sin)); sin->sin_family = AF_INET; sin->sin_port = htons(SERV_PORT); sin->sin_addr.s_addr = INADDR_ANY; if(bind(fd, (struct sockaddr*)sin, sizeof(*sin)) < 0) { perror("bind"); return -1; } if(listen(fd, BACKLOG) < 0) { perror("listen"); return -2; } return 0; }

void handle_events(int epoll_fd, struct epoll_event *events, int num, int accept_fd) { int i,fd; char buff[BUFSIZ]; for(i=0; i<num; i++) { fd = events[i].data.fd; if((fd == accept_fd) && events[i].events & EPOLLIN)/* 對events和EPOLLIN“與”操作,判斷這個檔案描述符是否有input事件*/ do_accpet(epoll_fd, fd); else if(events[i].events & EPOLLIN) do_read(epoll_fd, fd, buff); else if(events[i].events & EPOLLOUT) do_write(epoll_fd, fd, buff); } }
void do_accpet(int epoll_fd, int accept_fd) { int new_fd; struct sockaddr_in cin; socklen_t len; new_fd = accept(accept_fd, (struct sockaddr*)&cin, &len); if(new_fd < 0) { perror("accpet"); return; } printf("a new client connected!\n");

  /*add_event input,
  client連線之後,把它的檔案描述符的input事件加入到紅黑樹中*/
  */
event_ctl(epoll_fd, new_fd, EPOLL_CTL_ADD, EPOLLIN);
}
void do_read(int epoll_fd, int fd, char *buff) { int ret = -1; bzero(buff, BUFSIZ); ret = read(fd, buff, BUFSIZ-1); if(ret == 0 || !strncmp(buff, QUIT, strlen(QUIT))) { printf("a client quit.\n"); close(fd); event_ctl(epoll_fd, fd, EPOLL_CTL_DEL, EPOLLIN);//delete_event in return; } if(ret < 0) { perror("read"); return; } printf("%s\n", buff); event_ctl(epoll_fd, fd, EPOLL_CTL_MOD, EPOLLOUT);//modif_event out } void do_write(int epoll_fd, int fd, char *buff) { int ret = -1; ret = write(fd, buff, strlen(buff)); if(ret <= 0) perror("write"); event_ctl(epoll_fd, fd, EPOLL_CTL_MOD, EPOLLIN);//modif_event in }
/*
參考的資料中把他分成幾個操作,更直觀
這裡為了方便多加一個引數,增加事件/刪除事件/修改事件/,把增刪改整合到一個函式。
*/ void event_ctl(int epoll_fd, int fd, int flag, int state) { struct epoll_event ev; ev.events = state; ev.data.fd = fd; epoll_ctl(epoll_fd, flag, fd, &ev); }

 

四、其它

觸發模式

關於epoll的水平觸發LT和邊緣觸發ET還沒研究清楚,

應該是類似驅動程式中檢測硬體訊號中,高/低電平觸發,上升沿/下降沿觸發。

* !!FIXME

 

參考資料:

https://www.cnblogs.com/Anker/archive/2013/08/17/3263780.html

https://blog.csdn.net/u011063112/article/details/81771440

https://blog.csdn.net/armlinuxww/article/details/92803381

 

相關文章