離線狀態下在伺服器上部署深度學習所需python包和資料集
離線狀態下在伺服器上部署深度學習所需python包和資料集
所解決問題
最近,想在學校伺服器上執行網路上其他人寫的基於YOLOv3的目標識別程式,通過github得到了程式碼,但是遇到的問題是:學校的伺服器是隻能內網連線,無法通過Anaconda 的install命令或者pip命令去安裝,其次,目前很多的github程式碼中資料集都是通過編寫sh檔案來線上獲取,因此要想執行例子程式碼是需要解決以上兩個問題。
解決python包的問題
解決這個問題的方法有兩個:一個是直接移植環境,另一個是去下載想要的python包再離線安裝這些包。
移植環境
這個方法是最簡單的,是十分直接和暴力的,並且也不會出現包不匹配的問題。
當然使用這個方法也需要你在安裝Anaconda時,對於不同的專案建立相對應的Anaconda環境。
大部分人一般會在自己的個人電腦上配置一個相同的深度學習環境,因為在程式debug的時候一般的會在自己的電腦上,只有在真正訓練的時候才會部署到伺服器上。我們可以找到在Anaconda3下有一個envs資料夾,這個資料夾下面就是我們自己建立的環境,每一個資料夾就是一個環境,直接打包壓縮,通過WinSCP直接傳到伺服器,通過以下幾條命令即可實現,name均為環境的名字
cd path #path是壓縮包儲存的位置
unzip name.zip #解壓相應的壓縮包
mv name ~/anaconda3/envs/ #移動環境到Anaconda的envs檔案中
conda activate name
離線安裝python包
這個方法需要自己離線下載包,去下面這個網址查自己所需要的包,需要對應python的版本和自己所需要的python包的版本。
開啟連結: https://pypi.org/.下載好之後,通過pip就可以安裝了
pip install package_name.whl
解決資料包的問題
下載好的程式碼,基本是不包含資料集和yolo網路的引數的,因為這些檔案的太大了,因此,都是通過sh檔案線上下載,但是線上下載一般都是龜速而且伺服器也不允許線上下載,因此我們需要找到下載資料集的sh檔案,
將上面的網址全部複製下來,通過瀏覽器下載這些會比較快。然後再通過WinSCP傳到伺服器,並按照sh檔案裡的程式碼操作除下載以外的其他命令即可。
最終程式執行結果
python test.py
相關文章
- 深度學習資料集深度學習
- vite 靜態離線無伺服器部署 方案Vite伺服器
- 機器學習,深度學習必備資料集機器學習深度學習
- 設定gbase叢集節點離線狀態
- [譯]深度學習中所需的線性代數知識深度學習
- 「雜談」GitHub上最全的機器學習和深度學習資料Github機器學習深度學習
- 深度學習(一)深度學習學習資料深度學習
- 深度學習(一)之MNIST資料集分類深度學習
- 專注深度學習模型精度和效能提升、資料採集清洗深度學習模型
- 重磅福利!!機器學習和深度學習學習資料合集機器學習深度學習
- 深度學習資料深度學習
- 離線部署Python環境Python
- 深度學習實驗資料集網站推薦深度學習網站
- 深度學習常用的資料集,包括各種資料跟影象資料深度學習
- 資源 | 25個深度學習開源資料集,have fun !深度學習
- Python深度學習(處理文字資料)--學習筆記(十二)Python深度學習筆記
- 部署伺服器上線部分伺服器
- 深度學習與XGBoost在小資料集上的測評,你怎麼看?深度學習
- 伺服器硬碟離線強制上線資料丟失怎麼恢復?伺服器硬碟
- Docker部署深度學習模型Docker深度學習模型
- 《精通資料科學:從線性迴歸到深度學習》資料科學深度學習
- 離線部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大資料平臺叢集服務Hadoop大資料
- Python深度學習(在小型資料集上從頭開始訓練一個卷積神經網路)--學習筆記(十)Python深度學習卷積神經網路筆記
- 【深度學習】深度解讀:深度學習在IoT大資料和流分析中的應用深度學習大資料
- CTF學習(14)MISC(資料包中的線索)
- 深度學習煉丹-資料處理和增強深度學習
- Mac上Dropbox一直連線中並提示離線狀態(已解決)Mac
- Python學習手冊(入門&爬蟲&資料分析&機器學習&深度學習)Python爬蟲機器學習深度學習
- Python資料科學(五) 資料處理和資料採集Python資料科學
- Python: 攜帶狀態的閉包Python
- 快速構建深度學習影像資料集,微軟Bing和Google哪個更好用?深度學習微軟Go
- 【原】Oracle學習系列—資料庫備份—離線備份Oracle資料庫
- Python深度學習Python深度學習
- 關於學習Web前端所需要的學習資料(免費送)Web前端
- Oracle資料庫的靜默狀態和掛起狀態Oracle資料庫
- 深度學習煉丹-資料預處理和增強深度學習
- 拯救深度學習:標註資料不足下的深度學習方法深度學習
- 基於Keras和Gunicorn+Flask部署深度學習模型KerasFlask深度學習模型