IOCP模型總結(轉)

ForTechnology發表於2011-08-16

IOCP模型總結(轉)
2009-06-26 17:22
IOCP（I/O Completion Port，I/O完成埠）是效能最好的一種I/O模型。它是應用程式使用執行緒池處理非同步I/O請求的一種機制。在處理多個併發的非同步I/O請求時，以往的模型都是在接收請求是建立一個執行緒來應答請求。這樣就有很多的執行緒並行地執行在系統中。而這些執行緒都是可執行的，Windows核心花費大量的時間在進行執行緒的上下文切換，並沒有多少時間花線上程執行上。再加上建立新執行緒的開銷比較大，所以造成了效率的低下。

呼叫的步驟如下:
抽象出一個完成埠大概的處理流程：
1：建立一個完成埠。
2：建立一個執行緒A。
3：A執行緒迴圈呼叫GetQueuedCompletionStatus()函式來得到IO操作結果，這個函式是個阻塞函式。
4：主執行緒迴圈裡呼叫accept等待客戶端連線上來。
5：主執行緒裡accept返回新連線建立以後，把這個新的套接字控制程式碼用CreateIoCompletionPort關聯到完成埠，然後發出一個非同步的 WSASend或者WSARecv呼叫，因為是非同步函式，WSASend/WSARecv會馬上返回，實際的傳送或者接收資料的操作由WINDOWS系統去做。
6：主執行緒繼續下一次迴圈，阻塞在accept這裡等待客戶端連線。
7：WINDOWS系統完成WSASend或者WSArecv的操作，把結果發到完成埠。
8：A執行緒裡的GetQueuedCompletionStatus()馬上返回，並從完成埠取得剛完成的WSASend/WSARecv的結果。
9：在A執行緒裡對這些資料進行處理(如果處理過程很耗時，需要新開執行緒處理)，然後接著發出WSASend/WSARecv，並繼續下一次迴圈阻塞在GetQueuedCompletionStatus()這裡。
歸根到底概括完成埠模型一句話：
我們不停地發出非同步的WSASend/WSARecv IO操作，具體的IO處理過程由WINDOWS系統完成，WINDOWS系統完成實際的IO處理後，把結果送到完成埠上（如果有多個IO都完成了，那麼就在完成埠那裡排成一個佇列）。我們在另外一個執行緒裡從完成埠不斷地取出IO操作結果，然後根據需要再發出WSASend/WSARecv IO操作。

而IOCP模型是事先開好了N個執行緒，儲存線上程池中，讓他們hold。然後將所有使用者的請求都投遞到一個完成埠上，然後N個工作執行緒逐一地從完成埠中取得使用者訊息並加以處理。這樣就避免了為每個使用者開一個執行緒。既減少了執行緒資源，又提高了執行緒的利用率。

完成埠模型是怎樣實現的呢？我們先建立一個完成埠（::CreateIoCompletioPort()）。然後再建立一個或多個工作執行緒，並指定他們到這個完成埠上去讀取資料。我們再將遠端連線的套接字控制程式碼關聯到這個完成埠（還是用::CreateIoCompletionPort()）。一切就OK了。

工作執行緒都幹些什麼呢？首先是調用::GetQueuedCompletionStatus()函式在關聯到這個完成埠上的所有套接字上等待I/O的完成。再判斷完成了什麼型別的I /O。一般來說，有三種型別的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我們到資料緩衝區內讀取資料後，再投遞一個或是多個同型別的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。對讀取到的資料，我們可以按照自己的需要來進行相應的處理。

為此，我們需要一個以OVERLAPPED（重疊I/O）結構為第一個欄位的per-I/O資料自定義結構。

typedef struct _PER_IO_DATA
{
         OVERLAPPED ol;       // 重疊I/O結構
         char buf[BUFFER_SIZE];   // 資料緩衝區
         int nOperationType;         //I/O操作型別
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
} PER_IO_DATA, *PPER_IO_DATA;

將一個PER_IO_DATA結構強制轉化成一個 OVERLAPPED結構傳給::GetQueuedCompletionStatus()函式，返回的這個PER_IO_DATA結構的的 nOperationType就是I/O操作的型別。當然，這些型別都是在投遞I/O請求時自己設定的。

這樣一個IOCP伺服器的框架就出來了。當然，要做一個好的 IOCP伺服器，還有考慮很多問題，如記憶體資源管理、接受連線的方法、惡意的客戶連線、包的重排序等等。以上是個人對於IOCP模型的一些理解與看法，還有待完善。另外各Winsock API的用法參見MSDN。

補充IOCP模型的實現：

//建立一個完成埠
HANDLE FCompletPort = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );

//接受遠端連線，並把這個連線的socket控制程式碼繫結到剛才建立的IOCP上
AConnect = accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, NULL, 0 );

//建立CPU數*2 + 2個執行緒
SYSTEM_INFO si;
GetSystemInfo(&si);
for (int i=1;si.dwNumberOfProcessors*2+2;i++)
{
AThread = TRecvSendThread.Create( false );
AThread.CompletPort = FCompletPort;//告訴這個執行緒，你要去這個IOCP去訪問資料
}

OK，就這麼簡單，我們要做的就是建立一個IOCP，把遠端連線的socket控制程式碼繫結到剛才建立的IOCP上，最後建立n個執行緒，並告訴這n個執行緒到這個IOCP上去訪問資料就可以了。

再看一下TRecvSendThread執行緒都幹些什麼：

void TRecvSendThread.Execute(...)
{
   while (!self.Terminated)
   {
     //查詢IOCP狀態（資料讀寫操作是否完成）
     GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );

if (BytesTransd !=0) .......
....;//資料讀寫操作完成

     //再投遞一個讀資料請求
     WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags, &(pPerIoDat->Overlap), NULL );
   }
}

讀寫執行緒只是簡單地檢查IOCP是否完成了我們投遞的讀寫操作，如果完成了則再投遞一個新的讀寫請求。
應該注意到，我們建立的所有TRecvSendThread都在訪問同一個IOCP（因為我們只建立了一個IOCP），並且我們沒有使用臨界區！難道不會產生衝突嗎？不用考慮同步問題嗎？
呵呵，這正是IOCP的奧妙所在。IOCP不是一個普通的物件，不需要考慮執行緒安全問題。它會自動調配訪問它的執行緒：如果某個socket上有一個執行緒A正在訪問，那麼執行緒B的訪問請求會被分配到另外一個socket。這一切都是由系統自動調配的，我們無需過問。
例項:
簡單實現，適合IOCP入門
參考：《WINDOWS網路與通訊程式設計》
/******************************************************************
*
* Copyright (c) 2008, xxxxx有限公司
* All rights reserved.
*
* 檔名稱：IOCPHeader.h
* 摘   要： IOCP定義檔案
*
* 當前版本：1.0
* 作    者：吳會然
* 完成日期：2008-9-16
*
* 取代版本：
* 原作者：
* 完成日期：
*
******************************************************************/
#ifndef _IOCPHEADER_H_20080916_
#define _IOCPHEADER_H_20080916_
#include
#include
#define BUFFER_SIZE 1024
/******************************************************************
* per_handle 資料
*******************************************************************/
typedef struct _PER_HANDLE_DATA
{
    SOCKET      s;      // 對應的套接字控制程式碼
    sockaddr_in addr;   // 對方的地址
}PER_HANDLE_DATA, *PPER_HANDLE_DATA;
/******************************************************************
* per_io 資料
*******************************************************************/
typedef struct _PER_IO_DATA
{
    OVERLAPPED ol;                 // 重疊結構
    char        buf[BUFFER_SIZE];   // 資料緩衝區
    int         nOperationType;     // 操作型別
#define OP_READ   1
#define OP_WRITE 2
#define OP_ACCEPT 3
}PER_IO_DATA, *PPER_IO_DATA;
#endif
/******************************************************************
*
* Copyright (c) 2008, xxxxx有限公司
* All rights reserved.
*
* 檔名稱：main.cpp
* 摘   要： iocp demo
*
* 當前版本：1.0
* 作    者：吳會然
* 完成日期：2008-9-16
*
* 取代版本：
* 原作者：
* 完成日期：
*
******************************************************************/
#include
#include
#include "IOCPHeader.h"
using namespace std;
DWORD WINAPI ServerThread( LPVOID lpParam );
int main( int argc, char *argv[] )
{
    //////////////////////////////////////////////////////////////////////////
    WSADATA wsaData;
    if( 0 != WSAStartup( MAKEWORD( 2, 2 ), &wsaData ) )
    {
        printf( "Using %s (Status:%s)\n", wsaData.szDescription, wsaData.szSystemStatus );
        printf( "with API versions: %d.%d to %d.%d",
                 LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),
                 LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );
        return -1;
    }
    else
    {
        printf("Windows sockets 2.2 startup\n");
    }
    //////////////////////////////////////////////////////////////////////////
    int nPort = 20055;
    // 建立完成埠物件
    // 建立工作執行緒處理完成埠物件的事件
    HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );
    ::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0 );
    // 建立監聽套接字，繫結本地埠，開始監聽
    SOCKET sListen = ::socket( AF_INET,-SOCK_STREAM, 0 );
    SOCKADDR_IN addr;
    addr.sin_family = AF_INET;
    addr.sin_port = ::htons( nPort );
    addr.sin_addr.S_un.S_addr = INADDR_ANY;
    ::bind( sListen, (sockaddr *)&addr, sizeof( addr ) );
    ::listen( sListen, 5 );
    printf( "iocp demo start......\n" );
    // 迴圈處理到來的請求
    while ( TRUE )
    {
        // 等待接受未決的連線請求
        SOCKADDR_IN saRemote;
        int nRemoteLen = sizeof( saRemote );
        SOCKET sRemote = ::accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );
        // 接受到新連線之後，為它建立一個per_handle資料，並將他們關聯到完成埠物件
        PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) );
        if( pPerHandle == NULL )
        {
            break;
        }
        pPerHandle->s = sRemote;
        memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );
        ::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );
        // 投遞一個接受請求
        PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) );
        if( pIoData == NULL )
        {
            break;
        }
        pIoData->nOperationType = OP_READ;
        WSABUF buf;
        buf.buf = pIoData->buf;
        buf.len = BUFFER_SIZE;

        DWORD dwRecv = 0;
        DWORD dwFlags = 0;
        ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );
    }
    //////////////////////////////////////////////////////////////////////////
ERROR_PROC:
    WSACleanup();
    //////////////////////////////////////////////////////////////////////////
    return 0;
}
/******************************************************************
* 函式介紹：處理完成埠物件事件的執行緒
* 輸入引數：
* 輸出引數：
* 返回值：
*******************************************************************/
DWORD WINAPI ServerThread( LPVOID lpParam )
{
    HANDLE hIocp = ( HANDLE )lpParam;
    if( hIocp == NULL )
    {
        return -1;
    }
    DWORD dwTrans = 0;
    PPER_HANDLE_DATA pPerHandle;
    PPER_IO_DATA     pPerIo;

    while( TRUE )
    {
        // 在關聯到此完成埠的所有套接字上等待I/O完成
        BOOL bRet = ::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );
        if( !bRet )     // 發生錯誤
        {
            ::closesocket( pPerHandle->s );
            ::GlobalFree( pPerHandle );
            ::GlobalFree( pPerIo );
            cout << "error" << endl;
            continue;
        }
        // 套接字被對方關閉
        if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb-sp;== OP_WRITE ) )
        {
            ::closesocket( pPerHandle->s );
            ::GlobalFree( pPerHandle );
            ::GlobalFree( pPerIo );
            cout << "client closed" << endl;
            continue;
        }
        switch ( pPerIo->nOperationType )
        {
        case OP_READ:       // 完成一個接收請求
            {
                pPerIo->buf[dwTrans] = '\0';
                printf( "%s\n", pPerIo->buf );
                // 繼續投遞接受操作
                WSABUF buf;
                buf.buf = pPerIo->buf;
                buf.len = BUFFER_SIZE;
                pPerIo->nOperationType = OP_READ;

                DWORD dwRecv = 0;
                DWORD dwFlags = 0;

                ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );
            }
            break;
        case OP_WRITE:
        case OP_ACCEPT:
            break;
        }
    }
    return 0;
}

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/25897606/viewspace-704943/，如需轉載，請註明出處，否則將追究法律責任。

gh0st的IOCP模型分析
2016-05-14
模型
javaSE總結（轉+總結）
2020-08-16
Java
IOCP 完成埠
2016-05-14
模型關聯使用總結
2018-09-17
模型
機器學習模型的特性總結
2012-03-21
機器學習模型
JVM記憶體模型總結
2020-04-05
JVM記憶體模型
Nio程式設計模型總結
2019-06-27
程式設計模型
轉：Git 總結
2018-11-27
Git
SmartForms總結(轉)
2008-05-17
ORM
深度學習模型調參總結
2021-08-27
深度學習模型
css 盒子模型和position總結
2018-11-20
CSS模型
密碼學之安全模型總結
2022-05-21
密碼學模型
IOCP 檔案拷貝
2009-08-20
CNN結構演變總結（一）經典模型
2021-02-27
CNN模型
TTS的總結 (轉)
2007-12-29
TTS
Enqueue整理總結（轉）
2007-12-19
ENQ
Java記憶體模型學習總結
2021-09-09
Java記憶體模型
IO流中「執行緒」模型總結
2023-04-07
執行緒模型
關於盒子模型的BFC總結
2017-10-26
模型
Java記憶體模型深度解析：總結
2015-01-18
Java記憶體模型
IOCP 系列函式講解
2016-05-14
函式
輕量級模型設計與部署總結
2022-11-25
模型
【軟考之軟體過程模型總結】
2016-11-06
模型
知識總結：模型評估與選擇
2017-12-25
模型
ANT命令總結（轉載）
2013-08-04
Oracle 行列轉換總結
2013-06-21
Oracle
oracle 轉義字元總結
2014-09-26
Oracle字元
ORACLE壞塊總結（轉）
2011-03-08
Oracle
個人工作總結(轉)
2011-06-03
Oracle 9.2.0.4 DataGuard 總結(轉)
2011-03-23
Oracle
Oracle行列轉換總結
2010-09-06
Oracle
RMAN 總結篇 1 - (轉）
2010-09-24
RMAN 總結篇 2 - (轉）
2010-09-24
RMAN 總結篇 3 - (轉）
2010-09-24
android WebView總結（轉）
2013-05-16
AndroidWebView
GeoTiff探索成果總結 (轉)
2007-08-17
「完結」總結12大CNN主流模型架構設計思想
2019-07-14
CNN模型架構
深入理解Java記憶體模型（七）——總結
2019-03-04
Java記憶體模型

IOCP模型總結(轉)

相關文章