Mysql(三) ------数据迁移备份(针对数据量很大的情况)
admin
2023-04-17 17:41:24
0

新跳槽了一家公司,上来就是数据库调优和数据迁移。调优那部分后面再补上来。公司目前用的是5.1的数据库,很老了,而且随着业务的发展需要做读写分离和主从复制。想把所有的数据都挪到新库上去。但这个库大概有60G的数据。
主要思路:

  1.创建用户,并授权

2.搭建主从,做到主从同步,数据目前先保持一致,在切换主从同步切换ip
Mysql5.1已有数据量了,为保证数据的一致性。故需要锁库,等数据导入后再解锁

3.需要注意从库和主库的引擎,字符集
show variables like 'character_set%'; --查看当前环境的character_set
  show variables like 'collation%'; --查看当前的collation

4.数据搬完后做数据校验,校验一致性
 采用pt-table-checksum  进行校验用pt-table-sync恢复一致
Zabbix定时监控mysql是否一致,如果不一致,调用脚本自动修复

统计了几种方式:
一·版本相同的数据库


 1.如果版本相同的话,直接停库,拷贝(cp、tar,gzip,cpio) 把mysql的整个目录打包发送到新的主机上。
 这个是最简单粗暴的,也是最有效,而且数据也是很一致的

2。也可以采用percona-xtrabackup 物理备份 + binlog
 借助第三方软件备份,好处:它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份。它不暂停服务创建Innodb热备份;
为mysql做增量备份;在mysql服务器之间做在线表迁移;使创建replication更加容易;备份mysql而不增加服务器的负载。

3.mysqldump备分
      a.主机A备份成sql文件,在导入到主机B数据库里,这种方式需要长时间锁表,而且需要大量时间
        mysqldump -uvnum  -pvnum@123  --force data_base_name  >  /data/data_base_name.sql
        或直接传到对应主机下的sql文件,60个G的话,导出导入时间差不多要五个小时左右,太慢了

        b.tar备份
        备份并压缩
        mysqldump -uusername -ppassword dbname | gzip > /data/wwwroot/www/dbname.sql.gz
    解压并还原
        gunzip < /root/dbname.sql.gz | mysql -uusernameb -ppasswordb dbnamenew
        时间相对减少点

        最佳方式介绍
        还有一种直接将数据库A直接转移到数据库B的方式(在服务器A中执行)但要求网速一定要好
        mysqldump --default-character-set=utf8mb4 --host=127.0.0.1 -uusername -ppassword 
        1.必须保证服务器B的数据库能够服务器A访问,且B服务器存在对应的库
        2.--opt命令可选,建议加上。等同于指定 --add-drop-tables--add-locking --create-option --disable-keys--extended-insert --lock-tables --quick --set-charset。它可以给出很快的转储操作并产生一个可以很快装入MySQL服务器的转储文件。
        3.--default-character-set=utf8mb4 指定该数据库连接的字符类型。如果服务器默认未utf8的话,导出的数据可能会丢失四字节的unicode信息(表情之类的)
        4.-C 客户端和服务器之间启用压缩传递所有信息。当然得要有咯。

mysql通过命令行快速转移数据库,一个命令(mysqldump)完成数据备

相关内容

热门资讯

缺油!日本快撑不住了 日本零食巨头卡乐比为节省油墨竟将原本漂亮的包装改成了黑白两色,从“喜食”变得看上去像“丧食”。日本石...
英国首相斯塔默再遭逼宫,在内阁... 【文/观察者网 熊超然】在上周经历地方选举惨败后,作为执政党领袖的英国首相斯塔默于当地时间5月11日...
日防相声称:新西兰考虑进口日本... 据凤凰卫视报道,5月12日,日本防卫大臣小泉进次郎在记者会上表示,新西兰已将日本海上自卫队最上型改良...
小米YU7 GT“车厘子红”无... 5 月 12 日消息,博主 @王的男人、昨日晒出了小米 YU7 GT「车厘子红」实车照片。画面显示,...
中关村论坛重磅发布!大兴机场临... 3月27日,在中关村论坛数据跨境流动创新发展论坛上,北京大兴国际机场临空经济区(大兴)正式发布跨境可...
白宫公布随特朗普访华16位商界... 白宫11日公布了将随特朗普一同访华的商界领袖名单。据多家美媒报道,总共将有16位美国商界代表来到北京...
荣耀申请代码生成方法专利,提高... 国家知识产权局信息显示,南京荣耀软件技术有限公司申请一项名为“代码生成方法、电子设备及存储介质”的专...
凤凰连线:中美新一轮经贸磋商,... 中美双方将在韩国举行第七轮经贸磋商。美方的阵容和日程安排如何?在这轮磋商中有哪些关切?凤凰卫视驻韩国...
知情人士:阿联酋秘密打击伊朗,... 据参考消息援引美国《华尔街日报》网站5月11日报道,多名知情人士透露,阿联酋已对伊朗发动军事打击,令...
美防长称美伊停火协议依然有效 △赫格塞思(资料图)当地时间5月12日,美国国防部长赫格塞思表示,他们针对伊朗问题的所有情况都制定了...