併發、多執行緒、HTTP連線數有何關係？

在使用代理伺服器時， 我們經常 會 聽到“併發”、“多執行緒”、“ HTTP連線數”等詞彙， 一些使用者 不清楚其表示的具體含義 ， 下文將 結合爬蟲工作 來探討 這幾個關鍵詞的含義。

 

併發： 是指 在作業系統中，某個時間段中有幾個程式已處於啟動執行到執行完畢之間。在使用代理IP 過程中，某個時間段中幾個活躍的 TCP 連線。 一些 朋友在連線結束之後沒有關閉連線， 所以會 導致併發數不斷累積增加 後 崩潰 的情況 。

 

多執行緒：是指從軟體或硬體上實現多個執行緒併發執行的技術 ， 很多軟體或者程式，都支援多執行緒技術， 以 達到提高工作效率的目的。

 

HTTP 連線數：是指訪問目標網頁時產生的 js 、 css 、 img 及 iframe 中載入的元素 ， 這些 都會計算為HTTP 的 連線數。

 

三者之間的關係： 如果每個執行緒只有1 個活躍的 TCP 連結，那麼 就會由 100 個併發；如果每個執行緒都有很多活躍的 TCP 連結， 100 個執行緒 便 不可能只有100 個併發，甚至可能 1 個執行緒就有 100 個併發。 而 連線數只有在訪問純文字的靜態頁面時，連線數才等於1 ， 不過這種情況 比較少見 ， 現在 基本都是動態網站，訪問一個網站需要好幾個連線數，訪問不同的網站連線數也 會 不同。

 

IPIDEA已向眾多網際網路知名企業提供服務，對提高爬蟲的抓取效率提供幫助，支援API 批量使用，支援多執行緒高併發使用。