ngx_http_request_t結構體詳解

後開啟撒打發了發表於2018-01-29
HTTP結構體
由於本人能力有限，對於這些結構體的成員變數的解釋，肯定有所差池，還請大家指出，大家共同學習
主要內容：
0.序
一、ngx_http_request_t結構體解釋
二、ngx_http_request_body_t結構體
三ngx_http_headers_in_t結構體
四附錄：裡面用到的一些函式
五一些沒有搞清楚的成員變數

0.序
在nginx中我們指的是http請求，具體到nginx中的資料結構是ngx_http_request_t。ngx_http_request_t是對一個http請求的封裝。 我們知道，一個http請求，包含請求行、請求頭、請求體、響應行、響應頭、響應體。
nginx中http代表http請求的資料結構是ngx_http_request_t。
一個http請求，包含請求行、請求頭、請求體、響應行、響應頭、響應體。

http請求是典型的請求-響應型別的的網路協議，而http是檔案協議，所以我們在分析請求行與請求頭，以及輸出響應行與響應頭，往往是一行一行的進行處理。如果我們自己來寫一個http伺服器，通常在一個連線建立好後，客戶端會傳送請求過來。然後我們讀取一行資料，分析出請求行中包含的method、uri、http_version資訊。然後再一行一行處理請求頭，並根據請求method與請求頭的資訊來決定是否有請求體以及請求體的長度，然後再去讀取請求體。得到請求後，我們處理請求產生需要輸出的資料，然後再生成響應行，響應頭以及響應體。在將響應傳送給客戶端之後，一個完整的請求就處理完了。當然這是最簡單的webserver的處理方式，其實nginx也是這樣做的，只是有一些小小的區別，比如，當請求頭讀取完成後，就開始進行請求的處理了。nginx通過ngx_http_request_t來儲存解析請求與輸出響應相關的資料。


這短短的一段話蘊含的太多內容。
首先一個http請求包含請求訊息與響應訊息。請求訊息包括請求行、請求頭、請求體。響應訊息包括響應行、響應頭、響應體。
其次，在nginx中，ngx_http_request_t代表一個http請求，即ngx_http_request_t中包含了所有http請求的內容。
再次，關於message-body的存在與否，是與HTTP協議有關。
最後，得到請求後，我們處理請求產生需要輸出的資料，再生成響應行、響應頭、響應體。

另外，提到nginx的區別，當請求頭讀取完成後，就開始進行請求的處理。是因為nginx採用非同步處理。在讀取請求頭後，就進行請求的處理，而對於message-body的處理則非同步進行。、

一、ngx_http_request_t結構體解釋
struct ngx_http_request_s {
    uint32_t                          signature;         /* "HTTP" */
/*
與連線有關的內容
*/
    ngx_connection_t                 * connection;
/*
以下四個儲存的是模組所對應的上下文結構體的指標。
其中ctx對應於自定義的上下文結構體指標
main_conf對應於main的上下文結構體指標
loc_conf對應於loc的上下文結構體指標
src_conf對應於srv的上下文結構體指標
*/

    void                            ** ctx;
    void                            ** main_conf;
    void                            ** srv_conf;
    void                            ** loc_conf;
 /*讀寫事件的函式指標*/
    ngx_http_event_handler_pt         read_event_handler;
    ngx_http_event_handler_pt         write_event_handler;

#if (NGX_HTTP_CACHE)
    ngx_http_cache_t                 * cache;
#endif
/*
與upstream模組相關的結構體
*/
    ngx_http_upstream_t              * upstream;/*用於upstream模組*/
    ngx_array_t                      * upstream_states;/*與upstream模組相關*/
                                         /* of ngx_http_upstream_state_t */

    ngx_pool_t                       * pool;/*記憶體池*/
    ngx_buf_t                        * header_in;// 會儲存一些訊息體的內容

    ngx_http_headers_in_t             headers_in;//代表請求頭部 // 請求的header結構體
    ngx_http_headers_out_t            headers_out;//代表響應頭部

    ngx_http_request_body_t          * request_body;//代表請求頭部.r-> request_body-> bufs中存放的請求體中的資料


    time_t                            lingering_time; /*unkown*/
    time_t                            start_sec;/*unkown*/
    ngx_msec_t                        start_msec; /*unkown*/

/*
從method到http_protocol都是請求行中資訊
*/
    ngx_uint_t                        method;
    ngx_uint_t                        http_version;//http版本

    ngx_str_t                         request_line;//請求行
    ngx_str_t                         uri; 
    ngx_str_t                         args;
    ngx_str_t                         exten;
    ngx_str_t                         unparsed_uri;

    ngx_str_t                         method_name;
    ngx_str_t                         http_protocol;


    ngx_chain_t                      * out; /*unkown*//*這裡要注意ngx_http_request_t中有一個out的chain，這個chain儲存的是上一次還沒有被髮完的buf，這樣每次我們接收到新的chain的話，就需要將新的chain連線到老的out chain上，然後再發出去*/
/*接下來從main到posted_requests都是與主請求和子請求有關的內容/
    ngx_http_request_t               * main;//這個表示主的request，也就是當前的request鏈中最上面的那個request，通過這個域我們就能判斷當前的request是不是subrequest。
    ngx_http_request_t               * parent;//這個表示當前的request的父request。
  //subrequest就是子請求，也就是在當前的一個請求中nginx再生成一個請求。
ngx_http_postponed_request_t     * postponed;//先來看postponed，這個域用來快取父request的資料（也就是將要傳送資料的request)
    ngx_http_post_subrequest_t       * post_subrequest;//這個域儲存了子請求的post request，它也就是儲存了需要被髮送的request.
    ngx_http_posted_request_t        * posted_requests;//這個儲存了所有的需要處理的request連結串列，也就是說它即包含子請求也包含父請求
/* virtual hosts based on the address:port  
    r->virtual_names = addr_conf->virtual_names
*/ 
    ngx_http_virtual_names_t         * virtual_names;

    ngx_int_t                         phase_handler; /*應該是在請求處理的多個階段中，利用phase_handler依次執行多個階段*/
    ngx_http_handler_pt               content_handler; /*生成內容的處理函式 比如ngx_http_proxy_handler等*/
    ngx_uint_t                        access_code;/*unkown*/

    ngx_http_variable_value_t        * variables;//variables 包含了所有的變數

#if (NGX_PCRE)
    ngx_uint_t                        ncaptures;
    int                              * captures;
    u_char                           * captures_data;
#endif

    size_t                            limit_rate;/*unkown*/
/*
r->limit_rate，這個表示當前的request的傳送限制速率，這個也是在nginx.conf中配置的，而一般就是通過這個值來設定c->write->delayed的。也就是說如果傳送速率大於這個limit了的話，就設定delayed，然後這邊的request就會延遲傳送
*/

    /* used to learn the Apache compatible response length without a header */
    size_t                            header_size;/*unkown*/

    off_t                             request_length;/*unkown*/

    ngx_uint_t                        err_status;/*unkown*/


    ngx_http_connection_t            * http_connection;/*unkown*/

    ngx_http_log_handler_pt           log_handler; /*unkown*/

    ngx_http_cleanup_t               * cleanup;

    unsigned                          subrequests:8;
    unsigned                          count:8;
    unsigned                          blocked:8;

    unsigned                          aio:1;

    unsigned                          http_state:4;

    /* URI with "/." and on Win32 with "//" */
    unsigned                          complex_uri:1;

    /* URI with "%" */
    unsigned                          quoted_uri:1;

    /* URI with "+" */
    unsigned                          plus_in_uri:1;

    /* URI with " " */
    unsigned                          space_in_uri:1;

    unsigned                          invalid_header:1;// 一個標示位，標示header是否有效，不正常的結束視為無效

    unsigned                          add_uri_to_alias:1;
    unsigned                          valid_location:1;
    unsigned                          valid_unparsed_uri:1;
    unsigned                          uri_changed:1;
    unsigned                          uri_changes:4;
/*
下面這兩個引數就會設定為每個body都存放到臨時檔案裡，並且這個臨時檔案在請求結束後不會被刪除：

r->request_body_in_persistent_file = 1;

r->request_body_in_file_only = 1;

*/
    unsigned                          request_body_in_single_buf:1;
    unsigned                          request_body_in_file_only:1;
    unsigned                          request_body_in_persistent_file:1;
    unsigned                          request_body_in_clean_file:1;
    unsigned                          request_body_file_group_access:1;
    unsigned                          request_body_file_log_level:3;

    unsigned                          subrequest_in_memory:1;
    unsigned                          waited:1;

#if (NGX_HTTP_CACHE)
    unsigned                          cached:1;
#endif

#if (NGX_HTTP_GZIP)
    unsigned                          gzip_tested:1;
    unsigned                          gzip_ok:1;
    unsigned                          gzip_vary:1;
#endif

    unsigned                          proxy:1;
    unsigned                          bypass_cache:1;
    unsigned                          no_cache:1;

    /*
     * instead of using the request context data in
     * ngx_http_limit_conn_module and ngx_http_limit_req_module
     * we use the single bits in the request structure
     */
    unsigned                          limit_conn_set:1;
    unsigned                          limit_req_set:1;

#if 0
    unsigned                           cacheable:1;
#endif

    unsigned                          pipeline:1;
    unsigned                          plain_http:1;
    unsigned                          chunked:1;
    unsigned                          header_only:1;   /*當請求方法為HEAD時，r->header_only=1 ，在ngx_http_header_filter函式中*/
    unsigned                          keepalive:1;
    unsigned                          lingering_close:1;
    unsigned                          discard_body:1;
    unsigned                          internal:1;
    unsigned                          error_page:1;
    unsigned                          ignore_content_encoding:1;
    unsigned                          filter_finalize:1;
    unsigned                          post_action:1;
    unsigned                          request_complete:1;
    unsigned                          request_output:1;
    unsigned                          header_sent:1;
    unsigned                          expect_tested:1;
    unsigned                          root_tested:1;
    unsigned                          done:1;
    unsigned                          logged:1;

    unsigned                          buffered:4;

    unsigned                          main_filter_need_in_memory:1;
    unsigned                          filter_need_in_memory:1;
    unsigned                          filter_need_temporary:1;
    unsigned                          allow_ranges:1;

#if (NGX_STAT_STUB)
    unsigned                          stat_reading:1;
    unsigned                          stat_writing:1;
#endif

    /* used to parse HTTP headers */
/*
通過列印，不能獲得header_name_start內容
通過列印，可以獲得header_start內容：為cookie內容+空行，也就是header_start內容包含cookie，但不僅僅包含cookie。
*/

    ngx_uint_t                        state;

    ngx_uint_t                        header_hash;
    ngx_uint_t                        lowcase_index;
    u_char                            lowcase_header[NGX_HTTP_LC_HEADER_LEN];

    u_char                           * header_name_start;
    u_char                           * header_name_end;
    u_char                           * header_start;
    u_char                           * header_end;

    /*
     * a memory that can be reused after parsing a request line
     * via ngx_http_ephemeral_t
     */
/* used to parse HTTP 請求行的訊息
** 通過列印，可以知道接下來這部分內容都是關於HTTP請求行的，通過這些指標可以方便找到所需的請求行中的內容，比如 r-> method_end+1,r-> http_protocol .data-1 之間就是URI。
*/

    u_char                           * uri_start;
    u_char                           * uri_end;
    u_char                           * uri_ext;
    u_char                           * args_start;
    u_char                           * request_start;
    u_char                           * request_end;
    u_char                           * method_end;
    u_char                           * schema_start;
    u_char                           * schema_end;
    u_char                           * host_start;
    u_char                           * host_end;
    u_char                           * port_start;
    u_char                           * port_end;

    unsigned                          http_minor:16;
    unsigned                          http_major:16;
};
測試中所新增函式內容：

#if 1
    printf( "***ngx_http_upload_handler server :%s\t length is %d\n",out_headers_in.server. data,out_headers_in.server .len);
    yk_print_ngx_str_t ("server is " ,r->headers_in. server.data ,r->headers_in. server.len );
    yk_print_ngx_str_t ("request_line is " ,r->request_line. data,r->request_line .len);
    yk_print_ngx_str_t (" uri is ",r->uri .data,r-> uri.len );
    yk_print_ngx_str_t (" args is ",r->args .data,r-> args.len );
    yk_print_ngx_str_t ("method_name is " ,r->method_name. data,r->method_name .len);
    yk_print_ngx_str_t ("unparsed_uri is " ,r->unparsed_uri. data,r->unparsed_uri .len);

    yk_print_start2end( "r->uri_start",r->uri_start ,r->uri_end);
    yk_print_start2end( "r->request_start",r->request_start ,r->request_end);
    yk_print_start2end( "r->schema_start",r->schema_start ,r->schema_start);
    yk_print_start2end( "r->host_start",r->host_start ,r->host_start);
 //   printf("uri_ext is %s \t method_end is %s \t ",r->uri_ext,r->method_end);

    yk_print_start2end( "uri is",r-> method_end+1,r->http_protocol .data-1); /*這句話可以將 uri完整無錯的列印出來*/
    yk_print_start2end( "method_name start-end is" ,r->method_name. data,r->method_end +1);/*這句話可以將method完整無錯的列印出來*/
    //yk_print_start2end("header_name_start is",r->header_name_start,r->header_name_end);
    yk_print_start2end( "header_start is",r->header_start ,r->header_end);
#endif
ngx_http_request_t 中header_in作用：
會儲存一些訊息體的內容，在使用者名稱密碼登陸的時候
     




二、ngx_http_request_body_t結構體
typedef struct {
    ngx_temp_file_t                  * temp_file; 
    ngx_chain_t                      * bufs;/*訊息體都儲存在這個chain裡面*/
    ngx_buf_t                        * buf;  /*用作臨時儲存的buf，在ngx_http_read_client_request_body和ngx_http_do_read_client_request_body中用得到*/
    off_t                             rest;
    ngx_chain_t                      * to_write;
    ngx_http_client_body_handler_pt   post_handler;
} ngx_http_request_body_t;
通過下面的語句可以列印bufs中內容。
/*below is edited by yankai*/
    yankai_cl = r->request_body->bufs;
    yankai_sum_rb_bufs = 0;
    for (; yankai_cl; yankai_cl = yankai_cl->next){
          yankai_sum_rb_bufs += (size_t)ngx_buf_size(yankai_cl->buf);
    }
    printf( "###yankai_sum_rb_bufs in ngx_http_upload_body_handler mm is %d\n",yankai_sum_rb_bufs);

三ngx_http_headers_in_t結構體
下面這段話來自於http://tengine.taobao.org/book/chapter_12.html
ngx_http_headers_in_t結構的headers欄位為一個連結串列結構，它被用來儲存所有請求頭，初始為它分配了20個節點，每個節點的型別為ngx_table_elt_t，儲存請求頭的name/value值對，還可以看到ngx_http_headers_in_t結構有很多型別為ngx_table_elt_t*的指標成員，而且從它們的命名可以看出是一些常見的請求頭名字，nginx對這些常用的請求頭在ngx_http_headers_in_t結構裡面儲存了一份引用，後續需要使用的話，可以直接通過這些成員得到，另外也事先為cookie頭分配了2個元素的陣列空間，做完這些記憶體準備工作之後，該請求對應的讀事件結構的處理函式被設定為ngx_http_process_request_headers，並隨後馬上呼叫了該函式。
typedef struct {
    ngx_list_t                        headers;
/*從host到keep_alive 均為常見的http頭部欄位*/
    ngx_table_elt_t                  * host;
    ngx_table_elt_t                  * connection;
    ngx_table_elt_t                  * if_modified_since;
    ngx_table_elt_t                  * if_unmodified_since;
    ngx_table_elt_t                  * user_agent;
    ngx_table_elt_t                  * referer;
    ngx_table_elt_t                  * content_length;
    ngx_table_elt_t                  * content_type;

    ngx_table_elt_t                  * range;
    ngx_table_elt_t                  * if_range;

    ngx_table_elt_t                  * transfer_encoding;
    ngx_table_elt_t                  * expect;

#if (NGX_HTTP_GZIP)
    ngx_table_elt_t                  * accept_encoding;
    ngx_table_elt_t                  * via;
#endif

    ngx_table_elt_t                  * authorization;

    ngx_table_elt_t                  * keep_alive;

#if (NGX_HTTP_X_FORWARDED_FOR)
    ngx_table_elt_t                  * x_forwarded_for;
#endif

#if (NGX_HTTP_REALIP)
    ngx_table_elt_t                  *x_real_ip; 
#endif

#if (NGX_HTTP_HEADERS)
    ngx_table_elt_t                  *accept;
    ngx_table_elt_t                  *accept_language;
#endif

#if (NGX_HTTP_DAV)
    ngx_table_elt_t                  *depth;
    ngx_table_elt_t                  *destination;
    ngx_table_elt_t                  *overwrite;
    ngx_table_elt_t                  *date;
#endif

    ngx_str_t                         user;/*unkown*/ 
    ngx_str_t                         passwd;/*unkown*/ 

    ngx_array_t                       cookies;

    ngx_str_t                         server;


    off_t                             content_length_n;/*unkown*/ 
    time_t                            keep_alive_n;/*unkown*/ 

    unsigned                          connection_type:2;
    unsigned                          msie:1;
    unsigned                          msie6:1;
    unsigned                          opera:1;
    unsigned                          gecko:1;
    unsigned                          chrome:1;
    unsigned                          safari:1;
    unsigned                          konqueror:1;
} ngx_http_headers_in_t;
說明：ngx_http_headers_in_t是包含請求頭中所有內容，
             1）ngx_table_elt_t   都是RFC2616中提到的請求頭域的內容
              2）user、passwd未知
              3）cookie裡面儲存的是cookie的內容，可以通過下面的程式碼列印出來
#if 0
    /*six line code source :http://lijinxing17.blog.163.com/blog/static/34977708201062710583500/*/
    ngx_table_elt_t ** cookies = NULL;
    ngx_uint_t i;
    printf( "Cookie count: %d\n" , r->headers_in.cookies.nelts);
    cookies = r->headers_in.cookies.elts;
    for ( i = 0 ; i < r->headers_in.cookies.nelts; i++) {
                printf( "Cookie line %d: %s\n" , i, cookies[i]->value.data);
    }
#endif




四附錄：裡面用到的一些函式
/*
*函式功能：知道字串的其實地址和中止地址，輸出該字串
*/
void yk_print_start2end( char * description,u_char * start,u_char *end)
{
                 printf("%s\t" ,description);
     u_char * ptemp;
     for(ptemp = start; ptemp != end; ptemp++)
          printf("%c" ,*ptemp);
     printf( "\n");
}
/*
*函式功能：知道字串的其實地址和中止地址，輸出該字串
*/
void yk_print_ngx_str_t( char * description,u_char * data,int len)
{
                 printf("%s\t" ,description);
                 u_char * ptemp;
                     for(ptemp = data; ptemp != (data + len); ptemp++)
                          printf("%c" ,*ptemp);
                     printf("\n" );
}


列印cookie內容
#if 0
    /*six line code source :http://lijinxing17.blog.163.com/blog/static/34977708201062710583500/*/
    ngx_table_elt_t ** cookies = NULL;
    ngx_uint_t i;
    printf( "Cookie count: %d\n" , r->headers_in.cookies.nelts);
    cookies = r->headers_in.cookies.elts;
    for ( i = 0 ; i < r->headers_in.cookies.nelts; i++) {
                printf( "Cookie line %d: %s\n" , i, cookies[i]->value.data);
    }
#endif
五、一些沒有搞清楚的成員變數
ngx_http_headers_in_t結構體中user passwd headers
ngx_connection_t *connection 
ngx_http_connection_t *http_connection

相關文章