從放棄迅雷和IDM到自己開發下載工具

mokeyWie發表於2017-12-08

前言

在這個網路頻寬飛速增長的年代，下載檔案要充分利用好網速就得用到下載工具，比如迅雷、IDM。然而貧窮限制了下載速度，這兩個下載軟體不花錢毫無體驗可言。本人兩年迅雷年費會員在離線下載越來越形如虛設的情況下，選擇投入了IDM的懷抱，然而IDM醜陋的介面和破解版的無限彈框讓我產生了開發一款屬於自己下載器的想法。

成果

沒圖說個xx，下圖是在20M頻寬的情況下載網盤檔案的過程，可以看到網速基本跑滿。

百度網盤下載

下載試用，需要JAVA8+執行環境。
啟動：

java -jar proxyee-down-1.3.jar
訪問http://127.0.0.1:9999，點選ProxyeeRoot ca.crt下載證照並安裝到受信任的根證照頒發機構中
設定瀏覽器http代理為127.0.0.1:9999即可

關於證照匯入

  • windows系統

訪問http://127.0.0.1:9999,下載證照，要選擇受信任的根證照頒發機構目錄
匯入證照

  • 安卓

用原生瀏覽器訪問http://serverIp:9999,下載證照

clipboard.png

介紹

本下載器開源，程式碼託管在proxyee-down，是一款基於http代理伺服器嗅探http下載請求的下載工具，支援外掛化開發，目前內建百度雲大檔案下載限制外掛和百度雲合併下載限制外掛。

技術簡介

本專案使用java+netty+spring boot+vue.js+element ui編寫，這裡只談一談核心的技術點，細節請參考原始碼。

  1. http代理
    基於http代理伺服器來實現下載請求的嗅探，實現了https的報文解密，在代理伺服器嗅探到下載請求頭時，進行攔截處理。

    //例如Content-Disposition請求頭攔截
Content-Disposition,attachment;filename=FileName.txt

    之後修改響應體跳轉到前端下載頁面

    HTTP/1.1 200 OK
Conten-type:text/html
Conten-length:129

<script>window.top.location.href='http://localhost:9000"</script>

  2. http斷點下載
    攔截到下載請求之後，自動試探下載請求是否支援http斷點下載。

    //傳送range請求頭,下載一個位元組
range:bytes=0-0

    若支援斷點下載則可開啟分段下載

    //返回206響應碼
HTTP/1.1 206 Partial Content

    根據前端填寫的下載段數計算出每個請求的下載範圍

    //例如檔案總大小為10byte分成2段下載
//第一段請求頭
range:bytes=0-4
//第二段請求頭
range:bytes=5-9

    下載完之後所有段落按順序合併，看看這裡是不是很像IDM，其實原理是一樣的。

後記

在寫此下載器的過程中對http和https協議又有了新的認識，特別是https若不能實現https的報文解密就做不到https下載請求的嗅探,在熟悉https協議後採用MITM（中間人攻擊）動態生成ssl證照的方式，來對https的報文進行解密。http代理伺服器核心已經獨立出來了，託管在proxyee，可以輕易的對http(s)協議進行攔截和處理。

相關文章