redis数据迁移
admin
2023-02-07 10:20:08
0

1.需求

需要将一个redis实例中的部分keys,转移到另一个redis实例

2.迁移方案

2.1 源实例与目标实例版本相同
2.1.1 使用dump命令
#!/bin/bash

#redis 源ip
src_ip=127.0.0.1
#redis 源port
src_port=6392

#redis 目的ip
dest_ip=127.0.0.1
#redis 目的port
dest_port=6393

#要迁移的key前缀
key_prefix=test

i=1

redis-cli -h $src_ip -p $src_port keys "${key_prefix}*" | while read key
do
    redis-cli -h $dest_ip -p $dest_port del $key
    redis-cli -h $src_ip -p $src_port --raw dump $key | perl -pe 'chomp if eof' | redis-cli -h $dest_ip -p $dest_port -x restore $key 0
    echo "$i migrate key $key"
    ((i++))
done
2.1.2 使用migrate命令

migrate用法:

MIGRATE host port key destination-db timeout [COPY] [REPLACE] 

起始版本:2.6.0
时间复杂度:This command actually executes a DUMP+DEL in the source instance, and a RESTORE in the target instance. See the pages of these commands for time complexity. Also an O(N) data transfer between the two instances is performed.

迁移脚本

#!/bin/bash

#redis 源ip
src_ip=127.0.0.1
#redis 源port
src_port=6392

#redis 目的ip
dest_ip=127.0.0.1
#redis 目的port
dest_port=6393

#要迁移的key前缀
key_prefix=test

i=1

redis-cli -h $src_ip -p $src_port keys "${key_prefix}*" | while read key
do
    redis-cli -h $src_ip -p $src_port migrate $dest_ip $dest_port $key 0 1000 replace
    echo "$i migrate key $key"
    ((i++))
done
2.2 源实例与目标实例版本不相同
2.2.1 不可行方案
  • 如果源实例与目标实例版本不相同,使用migrate进行迁移的时候会有如下错误:

    1935 migrate key esf_common_auth_code_18587656289
    (error) ERR Target instance replied with error: ERR DUMP payload version or checksum are wrong
  • 如果源实例与目标实例版本不相同,使用dump进行迁移的时候会有如下错误

    (error) ERR DUMP payload version or checksum are wrong
  • 如果源实例与目标实例版本不相同,直接复制rdbw文件搭建从库为有如下报错
    5453:S 23 Nov 18:13:14.153 * MASTER <-> SLAVE sync: Flushing old data
    5453:S 23 Nov 18:13:14.153 * MASTER <-> SLAVE sync: Loading DB in memory
    5453:S 23 Nov 18:13:14.153 # Can't handle RDB format version 8
    5453:S 23 Nov 18:13:14.153 # Failed trying to load the MASTER synchronization DB from disk
2.2.2 可行方案
  1. 开启源实例aof持久化功能

    config set appendonly yes
  2. 手动进行aof持久化

    bgrewriteaof
  3. 新建一个redis实例,与目标实例版本相同并启动
  4. 将源实例的redis的aof文件导入新建实例

    redis-cli -h 127.0.0.1 -p 6395 -a password --pipe < appendonly.aof
  5. 通过dump或者migrate的方式将新实例的key迁移到目标实例

相关内容

热门资讯

德国总理:美国正在被伊朗羞辱 德国之声4月27日报道,德国总理默茨在访问一所学校时表示,在当前的持续冲突中,伊朗领导层正试图羞辱美...
理响中国|“长”歌以行,风云激... 光阴如梭,东方潮阔。这里是中国的长三角,世界的长三角。无论过去、现在还是未来,这片土地都因时代而生,...
白宫:特朗普及其国安团队开会讨... 新华社华盛顿4月27日电 美国白宫新闻秘书莱维特27日在记者会上证实,总统特朗普及其国家安全团队当天...
人民日报刊文:日本放开杀伤性武... 日本放开杀伤性武器出口推高地缘冲突风险(国际论坛)常思纯《人民日报》(2026年04月28日 第 0...
医疗保障法草案二审:明确生育保... 满足多样化健康保障需求本报记者 彭 波4月27日,医疗保障法草案二审稿提请十四届全国人大常委会第二十...
天津一景区发生自转旋翼机事故1... 澎湃新闻记者 吕新文中国民用航空华北地区管理局4月22日公布《豪客通航“10•1”天津长芦汉盐旅游区...
卡塔尔埃米尔与美国总统特朗普通... 当地时间24日,卡塔尔埃米尔塔米姆与美国总统特朗普通电话,重点就中东地区局势以及伊朗与美国谈判问题交...
男子30年前被扣押2859克黄... 澎湃新闻记者 王鑫家住辽宁省大连市的潘永嘉近日向澎湃新闻反映称,三十年前,他在大连周水子机场被盖州市...
商务部:取消反制欧盟两家金融机... 中华人民共和国商务部令二〇二六年 第1号鉴于欧盟已取消对中国两家金融机构的制裁措施,现公布《关于取消...
过去24小时共有5艘船只通过霍... 总台记者当地时间24日获悉,过去24小时内,共有5艘船只通过霍尔木兹海峡,其中包括一艘伊朗油轮。(总...