5.7 ibtmp1问题诊断
admin
2023-05-28 22:41:38
0

环境:

OS:centos6.5      DB: mysql5.7.9(GA版本) 

搜索库实例的数据是从线上环境部分库中通过多源复制拉取而来的数据(线上数据与搜索数据做隔离),主要用来提供搜索的部分功能实现的查询(只有select)

问题:

收到zabbix报警,线上搜索库/data目录free space不足10%,cpu load达到460%,查看zabbix监控,BF刷新也是瞬间飙升

诊断:

1:/data目录前期规划是2T空间,在上一份的统计信息中显示,free space是28%

2:搜索库只拉取部分库的binlog,业务增长率load不到这样的高度

3:cpu负载瞬间飙升,iostat查看IO负载并不高,第一时间想到是慢查询,在processlist和trx表中发现了端倪,大量长时间的状态不对的查询语句

4:慢查询导致load值上升已确定。/data目录为何使用这么快?BF刷新频率为何上升?

解决办法:

1:通知搜索,停止相关查询任务,取出慢查询sql并做优化,语句大致为两个结果集做union,查询频率为1分钟一次,问题在第二个查询语句上,产生了临时表,且索引选择不佳(重建索引)

2:目录增长问题,去/data目录下du查看,增长的文件为ibtmp1,已结增长到了320G左右。查看官方文档ibtmp1,解释如下

MySQL 5.7.2 introduces a new type of undo log for both normal and compressed temporary
tables and related objects. The new type of undo log is not a redo log, as temporary tables are
not recovered during crash recovery and do not require redo logs. Temporary table undo logs are,
however, required for rollback, MVCC, and purging while the server is running. This special type
of non-redo undo log benefits performance by avoiding redo logging I/O for temporary tables and
related objects. The new undo log resides in the temporary tablespace. The default temporary
tablespace file, ibtmp1
, is located in the data directory by default and is always recreated on
server startup. A user defined location for the temporary tablespace file can be specified by setting
innodb_temp_data_file_path

注意标红部分:5.7新引入了一个参数innodb_temp_data_file_path 来存放临时表和undo日志的表空间

这条sql频繁的查询导致了大量临时表的产生,BF刷新undo频繁,而ibtmp1就不断增大


想法:

1:sql审核力度。

2: 5.7版本的深入研究


相关内容

热门资讯

莫迪和梅洛尼为这谐音梗哈哈大笑... 在中东局势持续发酵、国内经济承压的双重挑战下,5月15日至20日,印度总理莫迪启动本年度首次重大海外...
伊朗消息:正在回应美方谈判文本 据伊朗方面21日消息,伊朗“正在回应美方发来的谈判文本”,目前在讨论该文本的“总体框架、部分细节以及...
与郑丽文同台仅几分钟,李四川解... 国民党籍新北市长参选人李四川21日赴新北参加“力挺李四川团结大会”与国民党主席郑丽文仅同台寥寥数分钟...
AI研发迈向团队作战,国内首个... 人工智能正在各领域研发环节实现颠覆性变革。今后,AI将不再是程序员的“副驾驶”,还可能是企业研发团队...
东莞智数集团与华为签署“鸿蒙之... 5月20日,东莞市人工智能与数字经济集团有限公司(以下简称“智数集团”)与华为技术有限公司(以下简称...
刚刚,谢赛宁团队放出第二代表征... 来源:市场资讯 (来源:机器之心Pro) 编辑|Panda AI 图像生成通常遵循「能力越强、代价...
山寨学术会议被打假后,仍有高校... 澎湃新闻记者 钟煜豪近日,所谓的“第十二届人文学科和社会科学研究国际学术会议(ICHSSR 2026...
以后用AI就像交话费?三大运营... 当前,随着人工智能技术快速迭代,智能体、大模型应用蓬勃发展,我国词元调用量呈爆发式增长。近期,中国移...
中国团队提出AccLock方案... 5 月 21 日消息,来自中国苏州大学、北京大学的科研团队于 5 月 12 日在 arxiv 上发表...
重新定义信号与频谱分析仪:罗德... 全球测试测量专家罗德与施瓦茨(以下简称“R&S”)宣布,将于6月23日举办 “新一代多通道信号与频谱...