MySQL数据库的字段什么时候可以拆分
创始人
2024-12-22 03:02:36
0次

  在数据库的维护当中对表的垂直才分是必然的,基本上在业务刚开始准守 3NF 是明智的,当然也可以有一些反范式的设计。但是,建议还是应该在3NF的基础上再酌情考虑反范式。

  当遇到真的要对一些表进行拆分,那要拆那些字段嘞?下面我们就来分析一下。

  在新业务上线后导致TPS突然增高,这时我们对新上的业务又不是很懂。而问题又要分析解决。

  分析解决步骤

  解析近期生成的binlog文件获得是哪个表哪个字段操作的多。

  这边使用到了 吴炳锡 大神的一个工具 parsebinlog。

  该工具可以解析出表的操作情况。

  上面工具只能解析单个binlog文件的操作,如果要解析多个文件的可以使用 笔者的工具 pasrebinlog_stat.py。

  pasrebinlog_stat.py 是对执行parsebinlog解析完之后的数据进行的统计生成excel文件的工具。

  具体使用方法(在github最后有一点小小的说明):https://github.com/daiguadaidai/mysql-binlog-statistic。

  使用笔者的方法统计后会生成 5 个文件:

  ll

  -rw-rw-r-- 1 manager manager 58191 Sep 6 17:18 format.txt

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_delete.xls

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_insert.xls

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_total.xls

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_update.xls

  如果关心update操作可以查看sort_by_update.xls 其中是按update操作次数降序排列的。

  然后根据要了解的 表名 到format.txt中查看哪个字段更新平凡。

  查看解析出的文件相关 excel

  如这边我在sort_by_update.xls文件中看到 t1 表在定义行,说明他的总update量最多。

  然后在format.txt找到 t1 表的统计格式如下:

  Table `app_db`.`easy_channel_item`:

  Type TOTAL opt: 440353

  Type INSERT opt: 8049

  Type DELETE opt: 1419

  Type UPDATE opt: 430885

  28 col : 517

  23 col : 145

  7 col : 379383

  6 col : 46449

  12 col : 2

  13 col : 2

  9 col : 21

  8 col : 21

  5 col : 4102

  4 col : 3853

  26 col : 3

  27 col : 173

  21 col : 136

  24 col : 3

  25 col : 116

  从上可以很清楚的看到 '6 col' 和 '7 col'操作占用了大多的update操作。

  通过查看数据库表结构可以知道这两个字段分表是 price 和 inventory。

  拆分字段

  知道了哪个表的那个字段update频繁,可以先将字段从表中剥离出单独的表。至于需要不要开另外的库需要看会不会对其他主要业务有影响(如:下单付款等)。如果有影响在拆到其他库中。

  拆出来的目的主要是为了让每一个page能存储更多的数据,并且不会让 t1 表的数据在缓存中能保存的更长久,不会出现平凡的age out 显现(没有解决TPS高的问题)。

  对于要提高TPS一般有两种方法

  第一种:将TPS分散,也就是需要将表进行分区到不同库(一般这样要考虑的东西太多。数据量不大一般不考虑)。

  第二种:使用能提供更高TPS的产品(这边建议 redis 是不错的选择)。

  这边排除第一种

  使用第二种:

  更具时间经验值:一般使用redis 能提供 TPS:3-5W 更具机器情况还有所提高。

  QPS:7-10W 更具机器情况还有所提高。

  对于我们的TPS的情况 3-5W TPS 的redis一般能够胜任

  这边主要担心的就是有关 持久化 的问题,这就是架构上需要设计的了。

  redis 自身具有持久化功能,每秒持久化一次。

  更具我们 同步的情况其实同步可以忍受短时间不实时现象。如果出现redis失效(宕机或怎么的可以重启redis重新同步所有数据)。

  可以搭建 redis的master-slave 或 cluster 都行这样就能很好的解决一台redis宕机问题。

  可以根据 数据库软件设计的某些原理和借鉴秒杀架构,在后台不定期的将redis的数据同步到MySQL。

  步骤可以有:

  先将相关数据 格式化 的写入到日志文件(有能力提供消息队列更好)。

  写入日志成功之后再将数据在redis做操作。确保出问题有数据库可查。

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...