使用壓縮功能減少主機之間SCP時候的頻寬佔用
SCP是使用SSH協議進行主機之間資料傳輸的常用命令,但有時候如果主機不在同一個機房,那麼這個資料複製佔用的頻寬就是要好好考慮的問題了,SCP提
供了-l引數來限制頻寬的佔用,但限制頻寬的同時卻增加了複製需要的時間。一個比較好的辦法就是在主機端先進行資料壓縮,然後SCP過去後再解壓。好在
SSH和SCP已經為我們準備好了這些解決問題的辦法。[@more@]
預設情況下的SSH是不支援壓縮的資料傳輸的(不同版本的預設值可能不一樣,可以透過man sshd_config來查詢文件進行確認),要支援壓縮的資料傳輸,那麼首先要修改SSH的配置檔案(一般位於/etc/ssh/sshd_config),修改Compression選項為yes,然後重啟SSHD服務。Compression提供了三個選項,分別是delayed/no/yes,第一個表示使用者驗證的時候不壓縮,只是在資料傳輸過程中進行壓縮;第二個表示不壓縮;第三個表示從頭到尾都壓縮。修改完這些後,在進行SCP的時候需要新增-C引數來開啟壓縮功能。
來看下測試的結果:
首先DD建立一個檔案,然後分別使用普通和壓縮來進行傳輸,網路上的流量分別如下(因為是本機SCP本機的測試,所以流量在lo口上):
05:11:33 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
05:11:34 PM lo 3360.40 3360.40 26106605.94 26106605.94 0.00 0.00 0.00
和
05:12:33 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
05:12:34 PM lo 427.27 427.27 190298.99 190298.99 0.00 0.00 0.00
從上面可以看到明顯的不使用壓縮的時候,傳輸的速度就是網路卡上顯示的流量的速度;使用壓縮的時候,傳輸的速度有所提升,但是網路卡上的流量只有之前的1%(這麼大的壓縮比率是因為DD產生的資料塊內容都是相同的,壓縮比比較高)。使用ORACLE的資料檔案測試的時候,壓縮比率也有10倍以上,大大減少了頻寬的佔用。
預設情況下的SSH是不支援壓縮的資料傳輸的(不同版本的預設值可能不一樣,可以透過man sshd_config來查詢文件進行確認),要支援壓縮的資料傳輸,那麼首先要修改SSH的配置檔案(一般位於/etc/ssh/sshd_config),修改Compression選項為yes,然後重啟SSHD服務。Compression提供了三個選項,分別是delayed/no/yes,第一個表示使用者驗證的時候不壓縮,只是在資料傳輸過程中進行壓縮;第二個表示不壓縮;第三個表示從頭到尾都壓縮。修改完這些後,在進行SCP的時候需要新增-C引數來開啟壓縮功能。
來看下測試的結果:
首先DD建立一個檔案,然後分別使用普通和壓縮來進行傳輸,網路上的流量分別如下(因為是本機SCP本機的測試,所以流量在lo口上):
05:11:33 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
05:11:34 PM lo 3360.40 3360.40 26106605.94 26106605.94 0.00 0.00 0.00
和
05:12:33 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
05:12:34 PM lo 427.27 427.27 190298.99 190298.99 0.00 0.00 0.00
從上面可以看到明顯的不使用壓縮的時候,傳輸的速度就是網路卡上顯示的流量的速度;使用壓縮的時候,傳輸的速度有所提升,但是網路卡上的流量只有之前的1%(這麼大的壓縮比率是因為DD產生的資料塊內容都是相同的,壓縮比比較高)。使用ORACLE的資料檔案測試的時候,壓縮比率也有10倍以上,大大減少了頻寬的佔用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/25016/viewspace-1031609/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 縮短IIS應用池回收時間來實現減少IIS假死
- "位元速率適配限速”,如何使頻寬成本減少30%?
- 實驗一 ——————路由器的主機名、IP地址、工作時間、介面描述、頻寬、時脈頻率設定路由器
- Linux下各壓縮方式測試(壓縮率和使用時間)Linux
- Chrome外掛:提醒你正在摸魚,摸魚的時候知道自己在摸魚,減少摸魚的時間和頻率。Chrome
- tcp減少2msl的時間TCP
- linux 高效壓縮工具之xz的壓縮解壓使用Linux
- 選擇伺服器的時候注意頻寬和速度伺服器
- 如何減少 Hyperf 框架的掃描時間框架
- Chrome外掛:奮鬥逼、卷王必備,用於減少摸魚時間和頻率Chrome
- 使用BatchNorm替代LayerNorm可以減少Vision Transformer訓練時間和推理時間BATORM
- 安全HCIP之頻寬複用
- 減少熱備方法遷移資料庫的停機時間資料庫
- python使用迭代生成器yield減少記憶體佔用的方法Python記憶體
- 使用Egret外掛壓縮程式碼包體積,減少請求數量的實戰教程
- trickle 限制使用者空間頻寬
- Win10系統限制OneDrive傳輸資料時佔用頻寬的方法Win10
- 如何用 scp 在本地和遠端主機之間複製檔案
- Go - 使用 sync.Pool 來減少 GC 壓力GoGC
- 頻寬不夠用,靠這個方法我讓資料壓縮率達到了80%以上
- 【XTTS】Oracle11g 使用XTTS增量跨平臺傳輸減少停機時間TTSOracle
- 用ASP實現線上壓縮與解壓縮功能程式碼
- 字串池化,減少1/3記憶體佔用字串記憶體
- Python IDLE可以使用ctrl +[ 批量減少縮排,ctrl + ]批量增加縮排Python
- 中國聯通:2018年12月中國聯通寬頻使用者減少22萬戶
- win10系統怎麼優化字型庫減少c盤空間佔用Win10優化
- 建站的時候選擇雲主機還是vps主機?
- 12c – 使用跨平臺增量備份來減少傳輸表空間的停機時間 (Doc ID 2102859.1)
- 12c – 使用跨平臺增量備份來減少傳輸表空間的停機時間 (文件 ID 2102859.1)
- 減少Spring Boot的JVM記憶體佔用的Docker三種配置Spring BootJVM記憶體Docker
- Docker檔案遷移到TF卡或者隨身碟,最大限度減少空間佔用Docker
- win10系統怎麼最佳化字型庫減少c盤空間佔用Win10
- 氣候變化: 推動減少IT的碳足跡
- 手機丟失後的黃金時間,這麼做可以減少你的損失
- locust 執行一段時間,使用者數沒減少,但是 RPS 逐漸減少,最後沒有請求
- 網路應用優化——時延與頻寬優化
- Linux之壓縮Linux
- 如何使用nload實時監控網路頻寬