OSS高速通道跨國複製最佳實踐
部署步驟:
1、在上海region部署VPC1,VPC下部署ECS作為代理機器
2、在ECS上部署 ossimport,或者osscmd/ossutil
3、開通上海至美西的高速通道,將美西的OSS VPC內網訪問地址 加入到高速通道的路由配置中
4、配置ossimport ,詳細步驟參照:https://help.aliyun.com/document_detail/32201.html?spm=5176.doc44075.6.1037.T83MB2 ,其中目標端oss endpoint 填寫OSS VPC內網訪問endpoint,參見 https://help.aliyun.com/document_detail/31837.html
架構圖:
注意事項:
1、ossimport適合大量多個檔案傳輸,如果僅為單個檔案同步,單執行緒無法將高速通道頻寬打滿
2、同步無法做到非常實時,可實現增量同步,目前工具中增量同步最小間隔為 900秒,檔案大小限制為 1T
3、若是單個檔案同步,可採用osscmd/ossutil下載至ECS中,再傳輸到美西OSS上
4、測試中採用10M 高速通道,可將頻寬打滿,同步速度完全取決於高速通道頻寬
相關文章
- Java物件複製原理剖析及最佳實踐Java物件
- 跨網路複製檔案的簡單實踐
- CD74HC4067高速CMOS16通道模擬多路複用器實踐
- 【最佳實踐】通過Terraform管理OSS資源ORM
- TiDB 異構資料庫複製最佳實踐TiDB資料庫
- 【最佳實踐】如何通過TerraformModule管理OSS資源ORM
- 最佳實踐:使用阿里雲CDN加速OSS訪問阿里
- 【最佳實踐】OSS開源工具ossutil-增量上傳開源工具
- 國標是最佳業務實踐
- mysql 複製原理與實踐MySql
- 製作容器映象的最佳實踐
- MySQL 的主從複製實踐MySql
- mysql資料庫的主從複製和主主複製實踐MySql資料庫
- 簡單實踐實現 MySQL 主從複製MySql
- 製作 Python Docker 映象的最佳實踐PythonDocker
- 輕量級流量複製goreplay實踐Go
- 離線批次資料通道Tunnel的最佳實踐及常見問題
- 使用Docker進行Redis主從複製實踐DockerRedis
- MySQL全面瓦解27:主從複製(原理 + 實踐)MySql
- 一些Q複製實踐的連結
- 【原創】關於JAVA複習的最佳敏捷實踐Java敏捷
- 原生 Redis 跨資料中心雙向同步最佳化實踐Redis
- 跨域-實踐篇跨域
- js 實現深複製/深複製JS
- 乾貨 | CDN搭配OSS最佳實踐 ——搭建動靜態分離的應用架構應用架構
- 複雜資料操作最佳實踐 | 公開課視訊
- 使用Oracle可傳輸表空間的特性複製資料(3)跨平臺的傳輸實踐Oracle
- 跨國合作:Serverless Components 在騰訊雲的落地和實踐Server
- 阿里雲OSS雲端儲存管理實踐阿里
- Pika最佳實踐
- Flutter 最佳實踐Flutter
- MongoDB 最佳實踐MongoDB
- 《.NET最佳實踐》
- Django 最佳實踐Django
- metaq最佳實踐
- Iptables 最佳實踐 !
- Java最佳實踐Java
- Kafka最佳實踐Kafka