分析ecbil数据库插入速度慢的原因与解决方案_程序开发

admin

2023-05-27 15:01:55

0次

专题描述	研发团队抛出问题如下：折扣引擎在向数据库插入数据时，90万数据需要一个小时
分析过程	1	计算得出每秒插入行数只有250左右，远低于正常性能范围。
	2	和开发人员沟通发现，插入数据库的语句每次insert一行。
	3	配合开发团队人员，在压测时查看数据库，发现压测期间MySQL数据库完整占用一个数据库核心（top命令显示mysqld的cpu占用率在100%左右），瓶颈为单核cpu的运算能力。通过查看数据库连接情况进一步确认，一个数据库上，只有一个连接在插入数据。
解决方案	1	insert语句修改为批量插入数据。使用insert into ... values (),(),...,();小批量提交事务。	优点	缺点
			修改简单	可能需要修改max_allowed_packet参数。
	2	修改程序，使用合适的并发度，并发多线程插入数据。（备注，方案1、2可以同时使用）	效果预计非常明显	应用程序需要较大的改造。
问题原因	1	对MySQL数据库的操作方式不够优化。
知识点	1	MySQL对一条SQL语句，只能利用一个cpu核心处理，可能成为瓶颈。
	2	insert into ... values (),(),...,();一次插入多行数据，可以减少网络来回次数，以及数据库事务数量，从而提高性能。

马斯克：地球最强硬件公司仅Sp... 快科技8月5日消息，北京时间8月5日，SpaceX召开2026年第二季度财报电话会议。 SpaceX...

原创一... 韦布空间望远镜对海王星的卫星和星环进行的新观测，揭示了太阳系边缘这颗行星在数十亿年前经历的一场灾难。...

声网联合爱芯元智推出机器人实时... 近日，声网与全球领先的AI系统芯片（SoC）供应商爱芯元智联合宣布，基于爱芯元智 AX8850N S...

巴西总统：美国撤销驻美大使签证... 当地时间5日上午，巴西总统卢拉在官邸接受采访时表示，美国政府撤销巴西驻美大使签证的决定“不负责任、考...

汉艺精密取得一种直线导轨专利，... 国家知识产权局信息显示，东莞市汉艺精密机械有限公司取得一项名为“一种直线导轨”的专利，授权公告号CN...

40余名台湾青年在闽研学AI电... 漳州8月5日电 (记者张金川)8月5日，40余名台湾青年在福建省漳州市云霄县圆满结束了他们为期五天...

AI智能体能替你谈判账单吗？实... 用AI来协商经常性账单的费率，是那种永远排在待办清单末尾的琐事。即便每年费用都在上涨，大多数人还是选...

陕西柞水遭遇大暴雨，五千余户群... 8月5日7时至15时，陕西省商洛市柞水县出现大到暴雨、局地大暴雨，杏坪社区地质站最大降雨量135.4...

伊朗与阿曼会谈最新细节曝光美国有线电视新闻网（CNN）8月5日报道，伊朗和阿曼将敲定一项关于通过霍尔木兹海峡进行商业航运的框架...

大科学装置建设全面提速创新成... 央视网消息（新闻联播）：重大科技基础设施是建设科技强国的利器。今年以来，我国大科学装置建设全面提速，...