Linux企業級專案實踐之網路爬蟲（11）——處理http請求頭

http請求頭，HTTP客戶程式（例如瀏覽器），向伺服器傳送請求的時候必須指明請求型別（一般是GET或者POST）。如有必要，客戶程式還可以選擇傳送其他的請求頭。
HTTP客戶程式（例如瀏覽器），向伺服器傳送請求的時候必須指明請求型別（一般是GET或者POST）。如有必要，客戶程式還可以選擇傳送其他的請求頭。大多數請求頭並不是必需的，但Content-Length除外。對於POST請求來說Content-Length必須出現。 下面是一些最常見的請HTTP請求頭概述 


Accept：瀏覽器可接受的MIME型別。
Accept-Charset：瀏覽器可接受的字符集。
Accept-Encoding：瀏覽器能夠進行解碼的資料編碼方式，比如gzip。Servlet能夠向支援gzip的瀏覽器返回經gzip編碼的HTML頁面。許多情形下這可以減少5到10倍的下載時間。
Accept-Language：瀏覽器所希望的語言種類，當伺服器能夠提供一種以上的語言版本時要用到。
Authorization：授權資訊，通常出現在對伺服器傳送的WWW-Authenticate頭的應答中。
Connection：表示是否需要持久連線。如果Servlet看到這裡的值為“Keep-Alive”，或者看到請求使用的是HTTP 1.1（HTTP 1.1預設進行持久連線），它就可以利用持久連線的優點，當頁面包含多個元素時（例如Applet，圖片），顯著地減少下載所需要的時間。要實現這一點，Servlet需要在應答中傳送一個Content-Length頭，最簡單的實現方法是：先把內容寫入ByteArrayOutputStream，然後在正式寫出內容之前計算它的大小。
Content-Length：表示請求訊息正文的長度。
Cookie：這是最重要的請求頭資訊之一
From：請求傳送者的email地址，由一些特殊的Web客戶程式使用，瀏覽器不會用到它。
Host：初始URL中的主機和埠。
If-Modified-Since：只有當所請求的內容在指定的日期之後又經過修改才返回它，否則返回304“Not Modified”應答。
Pragma：指定“no-cache”值表示伺服器必須返回一個重新整理後的文件，即使它是代理伺服器而且已經有了頁面的本地拷貝。
Referer：包含一個URL，使用者從該URL代表的頁面出發訪問當前請求的頁面。
User-Agent：瀏覽器型別，如果Servlet返回的內容與瀏覽器型別有關則該值非常有用。

UA-Pixels，UA-Color，UA-OS，UA-CPU：由某些版本的IE瀏覽器所傳送的非標準的請求頭，表示螢幕大小、顏色深度、作業系統和CPU型別。

int send_request(int fd, void *arg)
{
    int need, begin, n;
    char request[1024] = {0};
    Url *url = (Url *)arg;

    sprintf(request, "GET /%s HTTP/1.0\r\n"
            "Host: %s\r\n"
            "Accept: */*\r\n"
            "Connection: Keep-Alive\r\n"
            "User-Agent: Mozilla/5.0 (compatible; Qteqpidspider/1.0;)\r\n"
            "Referer: %s\r\n\r\n", url->path, url->domain, url->domain);

    need = strlen(request);
    begin = 0;
    while(need) {
        n = write(fd, request+begin, need);
        if (n <= 0) {
            if (errno == EAGAIN) { //write buffer full, delay retry
                usleep(1000);
                continue;
            }
            SPIDER_LOG(SPIDER_LEVEL_WARN, "Thread %lu send ERROR: %d", pthread_self(), n);
            free_url(url);
            close(fd);
            return -1;
        }
        begin += n;
        need -= n;
    }
    return 0;
}