MySQL怎么向Redis迁移_程序开发

MySQL怎么向Redis迁移

创始人

2024-12-21 16:22:02

0次

文章目录

Mysql到Redis的数据协议

从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到最佳速度。
一个约八百万行数据的mysql表，原本导入到redis中需要90分钟，使用这个方法后，只需要两分钟。不管你信不信，反正我是信了。

其它翻译版本(1)

zzxworld
翻译于昨天(14:36)

`1`	`CREATE` `TABLE` `events_all_time (`

`2`	`id` `int(11) unsigned` `NOT` `NULL` `AUTO_INCREMENT,`

`3`	`action` `varchar(255)` `NOT` `NULL,`

`4`	`count` `int(11)` `NOT` `NULL` `DEFAULT` `0,`

`5`	`PRIMARY` `KEY` `(id),`

`6`	`UNIQUE` `KEY` `uniq_action (action)`

7 );

准备在每行数据中执行的redis命令如下：

`1`	`HSET events_all_time [action] [count]`

按照以上redis命令规则，创建一个events_to_redis.sql文件，内容是用来生成redis数据协议格式的SQL：

`01`	`-- events_to_redis.sql`

02

`03`	`SELECT` `CONCAT(`

`04`	`"*4\r\n",`

`05`	`'$', LENGTH(redis_cmd),` `'\r\n',`

`06`	`redis_cmd,` `'\r\n',`

`07`	`'$', LENGTH(redis_key),` `'\r\n',`

`08`	`redis_key,` `'\r\n',`

`09`	`'$', LENGTH(hkey),` `'\r\n',`

`10`	`hkey,` `'\r\n',`

`11`	`'$', LENGTH(hval),` `'\r\n',`

`12`	`hval,` `'\r'`

13 )

`14`	`FROM` `(`

15 SELECT

`16`	`'HSET'` `as` `redis_cmd,`

`17`	`'events_all_time'` `AS` `redis_key,`

`18`	`action` `AS` `hkey,`

`19`	`count` `AS` `hval`

`20`	`FROM` `events_all_time`

`21`	`)` `AS` `t`

ok, 用下面的命令执行：

`1`	`mysql stats_db --skip-column-names --raw < events_to_redis.sql \| redis-cli --pipe`

很重要的mysql参数说明：
--raw: 使mysql不转换字段值中的换行符。
--skip-column-names: 使mysql输出的每行中不包含列名。

上一篇：ZooKeeper中如何实现分布式锁

下一篇：MySQL中怎么访问内部安全数据目录

MySQL怎么向Redis迁移

相关内容

热门资讯