大神推薦Redis叢集遷移工具:redis-migrate-tool
Redis叢集遷移工具,基於redis複製,快速,穩定。 |
特點
快速
多執行緒
基於redis複製
實時遷移
遷移過程中,源叢集不影響對外提供服務
異構遷移
支援Twemproxy叢集,redis cluster叢集,rdb檔案 和 aof檔案
過濾功能
當目標叢集是Twemproxy,資料會跳過Twemproxy直接匯入到後端的redis
遷移狀態顯示
完善的資料抽樣校驗
遷移工具的來源可以是:單獨的redis例項,twemproxy叢集,redis cluster,rdb檔案,aof檔案。
遷移工具的目標可以是:單獨的redis例項,twemproxy叢集,redis cluster,rdb檔案。
版本說明
#僅支援redis3及以下版本
#基於上述版本修改,支援redis4及以上版本
依賴
yum -y install automake libtool autoconf bzip2
安裝
git clone .git redis-migrate-tool autoreconf -fvi ./configure make cp src/redis-migrate-tool /usr/local/bin/redis-migrate-tool
配置檔案rmt.conf
配置檔案示例:從redis cluster叢集遷移資料到twemproxy叢集
[source] type: redis cluster servers: - 127.0.0.1:6379 - 127.0.0.1:6380 - 127.0.0.1:6381 - 127.0.0.1:6382 [target] type: twemproxy hash: fnv1a_64 hash_tag: "{}" distribution: ketama servers: - 127.0.0.1:6380:1 server1 - 127.0.0.1:6381:1 server2 - 127.0.0.1:6382:1 server3 - 127.0.0.1:6383:1 server4 [common] listen: 0.0.0.0:8888 threads: 2 step: 1 mbuf_size: 1024 source_safe: true
配置檔案示例:從redis cluster叢集遷移資料到另外一個cluster叢集
[source] type: redis cluster servers: - 127.0.0.1:8379 [target] type: redis cluster servers: - 127.0.0.1:7379 [common] listen: 0.0.0.0:8888
配置檔案示例:從rdb檔案恢復資料到redis cluster叢集
[source] type: rdb file servers: - /data/redis/dump1.rdb - /data/redis/dump2.rdb - /data/redis/dump3.rdb [target] type: redis cluster servers: - 127.0.0.1:7379 [common] listen: 0.0.0.0:8888
執行
/usr/local/bin/redis-migrate-tool -c rmt.conf -o log -d
狀態
透過redis-cli連線redis-migrate-tool監控的埠,執行info
redis-cli -h 127.0.0.1 -p 8888 127.0.0.1:8888> info # Server version:0.1.0 os:Linux 2.6.32-573.12.1.el6.x86_64 x86_64 multiplexing_api:epoll gcc_version:4.4.7 process_id:9199 tcp_port:8888 uptime_in_seconds:1662 uptime_in_days:0 config_file:/ect/rmt.conf # Clients connected_clients:1 max_clients_limit:100 total_connections_received:3 # Memory mem_allocator:jemalloc-4.0.4 # Group source_nodes_count:32 target_nodes_count:48 # Stats all_rdb_received:1 all_rdb_parsed:1 all_aof_loaded:0 rdb_received_count:32 rdb_parsed_count:32 aof_loaded_count:0 total_msgs_recv:7753587 total_msgs_sent:7753587 total_net_input_bytes:234636318 total_net_output_bytes:255384129 total_net_input_bytes_human:223.77M total_net_output_bytes_human:243.55M total_mbufs_inqueue:0 total_msgs_outqueue:0 127.0.0.1:8888>
資料校驗
/usr/local/bin/redis-migrate-tool -c rmt.conf -o log -C redis_check Check job is running... Checked keys: 1000 Inconsistent value keys: 0 Inconsistent expire keys : 0 Other check error keys: 0 Checked OK keys: 1000 All keys checked OK! Check job finished, used 1.041s
原文地址:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31559985/viewspace-2661335/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- redis叢集 資料遷移方案Redis
- Redis叢集slot遷移改造實踐Redis
- Redis Cluster高可用叢集線上遷移操作記錄Redis
- es 叢集配置推薦
- 【Redis】Redis Cluster-叢集故障轉移Redis
- elasticsearch跨叢集資料遷移Elasticsearch
- Elasticsearch 叢集誇網路快照遷移Elasticsearch
- Redis資料遷移同步工具(redis-shake)Redis
- Redis系列:搭建Redis叢集(叢集模式)Redis模式
- redis叢集管理工具HHDBCSRedis
- hadoop 叢集 跨 版本資料遷移Hadoop
- redis 叢集Redis
- redis叢集Redis
- impala 資料表在叢集間遷移方案
- 使用redis-trib.rb工具快速搭建redis叢集Redis
- Redis鍵遷移Redis
- 【Redis】 redis資料遷移Redis
- Karmada跨叢集優雅故障遷移特性解析
- Redis(單機&叢集)Pipeline工具類Redis
- Redis cluster 叢集Redis
- redis叢集搭建Redis
- redis系列:叢集Redis
- 搭建 Redis 叢集Redis
- Redis Cluster(叢集)Redis
- Redis 叢集方法Redis
- Redis叢集方案Redis
- Redis 叢集方案Redis
- Redis-叢集Redis
- redis叢集原理Redis
- redis偽叢集配置Cluster叢集模式Redis模式
- Redis叢集 - cluster叢集、資料分片Redis
- Oracle官方推薦的資料遷移方式評估Oracle
- 有贊大資料離線叢集遷移實戰大資料
- 在 TKE 中使用 Velero 遷移複製叢集資源
- docker搭建redis叢集和Sentinel,實現故障轉移DockerRedis
- Zookeeper叢集 + Kafka叢集 + KafkaOffsetMonitor 監控薦Kafka
- 認識Redis叢集——Redis ClusterRedis
- 線上redis遷移思路Redis