0x00 前言
大家對HTTP代理應該都非常熟悉，它在很多方面都有著極為廣泛的應用。HTTP代理分為正向代理和反向代理兩種，後者一般用於將防火牆後面的服務提供給使用者訪問或者進行負載均衡，典型的有Nginx、HAProxy等。本文所討論的是正向代理。
HTTP代理最常見的用途是用於網路共享、網路加速和網路限制突破等。此外，HTTP代理也常用於Web應用除錯、Android/IOS APP 中所呼叫的Web API監控和分析，目前的知名軟體有Fiddler、Charles、Burp Suite和mitmproxy等。HTTP代理還可用於請求/響應內容修改，在不改變服務端的情況下為Web應用增加額外的功能或者改變應用行為等。
0x01 HTTP代理是什麼
HTTP代理本質上是一個Web應用，它和其他普通Web應用沒有根本區別。HTTP代理收到請求後，根據Header中Host欄位的主機名和Get/POST請求地址綜合判斷目標主機，建立新的HTTP請求並轉發請求資料，並將收到的響應資料轉發給客戶端。
如果請求地址是絕對地址，HTTP代理採用該地址中的Host，否則使用Header中的HOST欄位。做一個簡單測試，假設網路環境如下：
- 192.168.1.2 Web伺服器
- 192.168.1.3 HTTP代理伺服器
使用telnet進行測試
|
1 2 3 4 |
$ telnet 192.168.1.3 GET / HTTP/1.0 HOST: 192.168.1.2 |
注意最後需要連續兩個回車，這是HTTP協議要求。完成後，可以收到 http://192.168.1.2/ 的頁面內容。下面做一下調整，GET請求時帶上絕對地址
|
1 2 3 4 |
$ telnet 192.168.1.3 GET http://httpbin.org/ip HTTP/1.0 HOST: 192.168.1.2 |
注意這裡同樣設定了HOST為192.168.1.2，但執行結果卻返回了 http://httpbin.org/ip 頁面的內容，也就是公網IP地址資訊。
從上面的測試過程可以看出，HTTP代理並不是什麼很複雜的東西，只要將原始請求傳送到代理伺服器即可。在無法設定HTTP代理的情況下，對於少量Host需要走HTTP代理的場景來說，最簡單的方式就是將目標Host域名的IP指向代理伺服器，可以採取修改hosts檔案的方式來實現。
0x02 Python程式中設定HTTP代理
urllib2/urllib 代理設定
urllib2是Python標準庫，功能很強大，只是使用起來稍微麻煩一點。在Python 3中，urllib2不再保留，遷移到了urllib模組中。urllib2中通過ProxyHandler來設定使用代理伺服器。
|
1 2 3 4 |
proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'}) opener = urllib2.build_opener(proxy_handler) r = opener.open('http://httpbin.org/ip') print(r.read()) |
也可以用install_opener將配置好的opener安裝到全域性環境中，這樣所有的urllib2.urlopen都會自動使用代理。
|
1 2 3 |
urllib2.install_opener(opener) r = urllib2.urlopen('http://httpbin.org/ip') print(r.read()) |
在Python 3中，使用urllib。
|
1 2 3 4 |
proxy_handler = urllib.request.ProxyHandler({'http': 'http://121.193.143.249:80/'}) opener = urllib.request.build_opener(proxy_handler) r = opener.open('http://httpbin.org/ip') print(r.read()) |
requests 代理設定
requests是目前最優秀的HTTP庫之一，也是我平時構造http請求時使用最多的庫。它的API設計非常人性化，使用起來很容易上手。給requests設定代理很簡單，只需要給proxies設定一個形如 {'http': 'x.x.x.x:8080', 'https': 'x.x.x.x:8080'} 的引數即可。其中http和https相互獨立。
|
1 2 |
In [5]: requests.get('http://httpbin.org/ip', proxies={'http': '121.193.143.249:80'}).json() Out[5]: {'origin': '121.193.143.249'} |
可以直接設定session的proxies屬性，省去每次請求都要帶上proxies引數的麻煩。
|
1 2 3 |
s = requests.session() s.proxies = {'http': '121.193.143.249:80'} print(s.get('http://httpbin.org/ip').json()) |
0x03 HTTP_PROXY / HTTPS_PROXY 環境變數
urllib2 和 Requests 庫都能識別 HTTP_PROXY 和 HTTPS_PROXY 環境變數，一旦檢測到這些環境變數就會自動設定使用代理。這在用HTTP代理進行除錯的時候非常有用，因為不用修改程式碼，可以隨意根據環境變數來調整代理伺服器的ip地址和埠。*nix中的大部分軟體也都支援HTTP_PROXY環境變數識別，比如curl、wget、axel、aria2c等。
|
1 2 3 4 5 6 7 |
$ http_proxy=121.193.143.249:80 python -c 'import requests; print(requests.get("http://httpbin.org/ip").json())' {u'origin': u'121.193.143.249'} $ http_proxy=121.193.143.249:80 curl httpbin.org/ip { "origin": "121.193.143.249" } |
在IPython互動環境中，可能經常需要臨時性地除錯HTTP請求，可以簡單通過設定 os.environ['http_proxy'] 增加/取消HTTP代理來實現。
|
1 2 3 4 5 6 |
In [245]: os.environ['http_proxy'] = '121.193.143.249:80' In [246]: requests.get("http://httpbin.org/ip").json() Out[246]: {u'origin': u'121.193.143.249'} In [249]: os.environ['http_proxy'] = '' In [250]: requests.get("http://httpbin.org/ip").json() Out[250]: {u'origin': u'x.x.x.x'} |
0x04 MITM-Proxy
MITM 源於 Man-in-the-Middle Attack，指中間人攻擊，一般在客戶端和伺服器之間的網路中攔截、監聽和篡改資料。
mitmproxy是一款Python語言開發的開源中間人代理神器，支援SSL，支援透明代理、反向代理，支援流量錄製回放，支援自定義指令碼等。功能上同Windows中的Fiddler有些類似，但mitmproxy是一款console程式，沒有GUI介面，不過用起來還算方便。使用mitmproxy可以很方便的過濾、攔截、修改任意經過代理的HTTP請求/響應資料包，甚至可以利用它的scripting API，編寫指令碼達到自動攔截修改HTTP資料的目的。
|
1 2 3 |
# test.py def response(flow): flow.response.headers["BOOM"] = "boom!boom!boom!" |
上面的指令碼會在所有經過代理的Http響應包頭裡面加上一個名為BOOM的header。用mitmproxy -s 'test.py'命令啟動mitmproxy，curl驗證結果發現的確多了一個BOOM頭。
|
1 2 3 4 5 6 7 8 9 10 11 |
$ http_proxy=localhost:8080 curl -I 'httpbin.org/get' HTTP/1.1 200 OK Server: nginx Date: Thu, 03 Nov 2016 09:02:04 GMT Content-Type: application/json Content-Length: 186 Connection: keep-alive Access-Control-Allow-Origin: * Access-Control-Allow-Credentials: true BOOM: boom!boom!boom! ... |
顯然mitmproxy指令碼能做的事情遠不止這些，結合Python強大的功能，可以衍生出很多應用途徑。除此之外，mitmproxy還提供了強大的API，在這些API的基礎上，完全可以自己定製一個實現了特殊功能的專屬代理伺服器。
經過效能測試，發現mitmproxy的效率並不是特別高。如果只是用於除錯目的那還好，但如果要用到生產環境，有大量併發請求通過代理的時候，效能還是稍微差點。我用twisted實現了一個簡單的proxy，用於給公司內部網站增加功能、改善使用者體驗，以後有機會再和大家分享。