mysql5.7逻辑备份工具mysqlpump
admin
2023-05-26 16:41:21
0

mysqlpump是mysql5.7.8版本后特有的逻辑备份工具,相对于mysqldump和mysqldumper,mysqlpump拥有更多特性,官方文档的描述如下:

mysqlpump features include:
 Parallel processing of databases, and of objects within databases, to speed up the dump process
 Better control over which databases and database objects (tables, stored programs, user accounts)
to dump
 Dumping of user accounts as account-management statements (CREATE USER, GRANT) rather than
as inserts into the mysql system database
 Capability of creating compressed output
 Progress indicator (the values are estimates)
 For dump file reloading, faster secondary index creation for InnoDB tables by adding indexes after rows are inserted

1、支持多线程备份数据库和数据库对象,加快备份进程。

2、有更好的控制策略去备份数据库和数据库对象(表、存储过程、账户)。

3、备份用户通过账户管理SQL(create user,grant)而不再是往mysql系统库插入记录的方式

4、能创建压缩文件

5、显示进度(估算值)

6、重新加载(还原)备份文件,先建表后插入数据最后建立索引,减少了索引维护开销,加快了还原速度。


注:mysql5.7.11版本后,mysqlpump才解决了一致性备份的问题,如果早于这个版本,逻辑备份最好采用mysqldump解决一致性备份问题。

Before MySQL 5.7.11, use of the --single-transaction option is mutually
exclusive with parallelism. To use --single-transaction, disable parallelism
by setting --default-parallelism to 0 and not using any instances of --
parallel-schemas:
shell> mysqlpump --single-transaction --default-parallelism=0


为了测试下mysqlpump性能,在自己虚拟机上做了小测试,

    测试虚拟机环境:

    主机:

    CPU:Intel(R) Core(TM) i5-6400 CPU @ 2.70GHz 4核

    内存:1G

    磁盘:SCSI硬盘 10G

    数据库:

    版本:5.7.16

用sysbench准备测试数据,以下是测试数据准备脚本:

[root@mysql1 shell]# cat test_sysbench.sh 
#!/bin/sh
sysbench --test=oltp --mysql-host=192.168.110.100 --mysql-port=3307 --mysql-user=root --mysql-password=root --mysql-db=sbtest2 --oltp-num-tables=4 --oltp-table-size=500000 --report-interval=100  --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=30 --num-threads=16 prepare 
sysbench --test=oltp --mysql-host=192.168.110.100 --mysql-port=3307 --mysql-user=root --mysql-password=root --mysql-db=sbtest3 --oltp-num-tables=4 --oltp-table-size=500000 --report-interval=100  --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=30 --num-threads=16 prepare 
sysbench --test=oltp --mysql-host=192.168.110.100 --mysql-port=3307 --mysql-user=root --mysql-password=root --mysql-db=sbtest4 --oltp-num-tables=4 --oltp-table-size=500000 --report-interval=100  --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=30 --num-threads=16 prepare

测试结果如下:(注意每次测试都需要重启mysql服务,以避免内存缓冲对测试结果有所影响)

shell>time mysqlpump -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock -A --single-transaction --default-parallelism=1 > pump.sql
real    0m46.317s
user    0m13.602s
sys     0m3.949s
shell>time mysqlpump -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock -A --single-transaction --default-parallelism=2 > pump.sql
real    0m48.707s
user    0m15.087s
sys     0m3.965s
shell>time mysqlpump -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock -A --single-transaction --default-parallelism=4 > pump.sql
real    0m55.529s
user    0m14.783s
sys     0m4.143s
shell>time mysqldump  -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock --set-gtid-purged=OFF -A --single-transaction > dump.sql
real    0m57.089s
user    0m8.870s
sys     0m3.441s
++++++++++++++++++++++++++++++++++++++++++分割线+++++++++++++++++++++++++++++++++++++++++++
shell>time mysqlpump -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock -A --single-transaction --default-parallelism=1 --compress_output=LZ4 --skip-watch-progress > pump.sql 
real    1m6.681s
user    0m19.521s
sys     0m4.041s

shell>time mysqlpump -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock -A --single-transaction --default-parallelism=1 --compress_output=ZLIB --skip-watch-progress > pump.sql   
real    1m8.877s
user    0m27.315s
sys     0m4.693s

shell>time mysqldump  -uroot -proot -S /mysqldata/mysql/mysql3307/mysql3307.sock --set-gtid-purged=OFF -A --single-transaction |gzip> dump.sql.gz
real    1m8.567s
user    0m20.797s
sys     0m8.082s

从测试结果上可以发现:

1、mysqlpump确实比mysqldump效率高。

2、但是由于测试机磁盘IO有限,导致并发线程数从1提升到2和4的时候,由于IO的瓶颈,备份的时间反而增加。

3、由于测试的库表数据较小,测试数据有所失真,建议准备多几个库和大表的数据进行测试,效果会更明显。

4、mysqlpump的LZ4压缩算法压缩效率高于ZLIB压缩算法。


mysqlpump用法同mysqldump用法高度一致,最为有看点的就是:

1、支持基于表的多线程导出功能(--default-parallelism,默认为2,--parallel-schemas,控制并行导出的库)
2、导出的时候带有进度条(--watch-progress,默认开启)
3、支持直接压缩导出导入(参数--compress-output,而且支持ZLIB和LZ4)

详细的用法可以通过查找官方文档or mysqlpump --help。


相关内容

热门资讯

卡口灯座如何安装 卡口灯座的安装步骤如下:1. 关闭电源:在安装卡口灯座之前,确保关闭电源以避免触电危险。2. 拆卸旧...
硬装修包括哪些 最佳回答 硬装修主要包括房屋基础设施装修和房屋的结构布局、功能等等方面的装修。所以硬装修主要是防水...
墙排式马桶安装步骤 根据家中的卫生间布局,确定墙排马桶的安装位置,再弄好排水管;隐蔽式水箱的安装过程相对来说较简单;找好...
厨房下水管道水垢堵塞疏通方法 遇到这种问题时,可以这样解决:先将下水道连接的胶管拿上来,将管道疏通器,慢慢伸进去,直到伸到底下,推...
即热式电热水器水垢清除有哪些妙... 1.将电热水器断电,打开热水龙头排水,打开泄压阀门,关闭冷水阀门;2.用扳手扭下排污口螺丝,取出镁棒...
成功产生并鉴别稀有原子核!我国... 成功产生并鉴别稀有原子核!我国大国重器取得新成果 近日,中国科学院近代物理研究所科研团队与合作者依托...
外贸急单出货,太阳能路灯快速检... 这是(创阳照明电器是市政路灯太阳能路灯厂家,专业生产太阳能路灯,市政路灯,智慧路灯,庭院景观灯!源头...
贵州印发“人工智能+制造”实施... 本报贵阳8月4日电 (记者陈隽逸)贵州省工业和信息化厅等8部门日前印发《贵州省“人工智能+制造”实施...
特朗普所乘直升机遭遇飞行安全事... 新华社北京8月5日电 美国总统特朗普所乘直升机4日在华盛顿遭遇飞行安全事件。白宫表示该事件不涉及人身...
大厂警告:磷化铟供应短缺比存储... 近期,Lumentum首席执行官Michael Hurlston对外发出严厉警示:磷化铟(InP)的...