分析ecbil数据库插入速度慢的原因与解决方案_程序开发

admin

2023-05-27 15:01:55

0次

专题描述	研发团队抛出问题如下：折扣引擎在向数据库插入数据时，90万数据需要一个小时
分析过程	1	计算得出每秒插入行数只有250左右，远低于正常性能范围。
	2	和开发人员沟通发现，插入数据库的语句每次insert一行。
	3	配合开发团队人员，在压测时查看数据库，发现压测期间MySQL数据库完整占用一个数据库核心（top命令显示mysqld的cpu占用率在100%左右），瓶颈为单核cpu的运算能力。通过查看数据库连接情况进一步确认，一个数据库上，只有一个连接在插入数据。
解决方案	1	insert语句修改为批量插入数据。使用insert into ... values (),(),...,();小批量提交事务。	优点	缺点
			修改简单	可能需要修改max_allowed_packet参数。
	2	修改程序，使用合适的并发度，并发多线程插入数据。（备注，方案1、2可以同时使用）	效果预计非常明显	应用程序需要较大的改造。
问题原因	1	对MySQL数据库的操作方式不够优化。
知识点	1	MySQL对一条SQL语句，只能利用一个cpu核心处理，可能成为瓶颈。
	2	insert into ... values (),(),...,();一次插入多行数据，可以减少网络来回次数，以及数据库事务数量，从而提高性能。

高层用全落地玻璃安全吗最佳回答高层用全落地窗玻璃虽然看上去比较上档次，但同时也存在一定的风险，并不是特别安全，各方面还是...

便池黑了怎么处理刷黑了怎么处理便池变黑可能是由于长期使用、污渍积累或其他原因导致的。以下是一些处理便池变黑的方法：1. 使用清洁剂...

九牧王智能马桶不能自动冲水怎么... 如果九牧王智能马桶不能自动冲水，以下是一些可能的解决方法：1. 检查电源：确保马桶的电源插头插好，电...

全球第三，领先OpenAI！上... 今年7月，OpenAI的一款大模型在内部测试时失控，它自主发现漏洞、规划路径，成功入侵了全球知名人工...

载缆量可达16000吨，国内最... 本文转自【科技日报】； ◎ 科技日报记者代小佩 8月4日，中国船舶集团七〇八所自主研发设计的国内最...

马斯克：地球最强硬件公司仅Sp... 快科技8月5日消息，北京时间8月5日，SpaceX召开2026年第二季度财报电话会议。 SpaceX...

原创一... 韦布空间望远镜对海王星的卫星和星环进行的新观测，揭示了太阳系边缘这颗行星在数十亿年前经历的一场灾难。...

声网联合爱芯元智推出机器人实时... 近日，声网与全球领先的AI系统芯片（SoC）供应商爱芯元智联合宣布，基于爱芯元智 AX8850N S...

巴西总统：美国撤销驻美大使签证... 当地时间5日上午，巴西总统卢拉在官邸接受采访时表示，美国政府撤销巴西驻美大使签证的决定“不负责任、考...

汉艺精密取得一种直线导轨专利，... 国家知识产权局信息显示，东莞市汉艺精密机械有限公司取得一项名为“一种直线导轨”的专利，授权公告号CN...