分析ecbil数据库插入速度慢的原因与解决方案_程序开发

admin

2023-05-27 15:01:55

0次

专题描述	研发团队抛出问题如下：折扣引擎在向数据库插入数据时，90万数据需要一个小时
分析过程	1	计算得出每秒插入行数只有250左右，远低于正常性能范围。
	2	和开发人员沟通发现，插入数据库的语句每次insert一行。
	3	配合开发团队人员，在压测时查看数据库，发现压测期间MySQL数据库完整占用一个数据库核心（top命令显示mysqld的cpu占用率在100%左右），瓶颈为单核cpu的运算能力。通过查看数据库连接情况进一步确认，一个数据库上，只有一个连接在插入数据。
解决方案	1	insert语句修改为批量插入数据。使用insert into ... values (),(),...,();小批量提交事务。	优点	缺点
			修改简单	可能需要修改max_allowed_packet参数。
	2	修改程序，使用合适的并发度，并发多线程插入数据。（备注，方案1、2可以同时使用）	效果预计非常明显	应用程序需要较大的改造。
问题原因	1	对MySQL数据库的操作方式不够优化。
知识点	1	MySQL对一条SQL语句，只能利用一个cpu核心处理，可能成为瓶颈。
	2	insert into ... values (),(),...,();一次插入多行数据，可以减少网络来回次数，以及数据库事务数量，从而提高性能。

从经贸合作到点名日本，中俄42... 【文/观察者网王慧】5月19日至20日，俄罗斯总统普京对华进行国事访问，这是普京总统第25次到访中...

税务局工作人员上班时脚跷在桌上... 极目新闻记者余渊5月21，国家税务总局海口市税务局发布情况通报：近期，有群众反映，我局一名工作人员...

太精辟！岛内二创《唐伯虎点秋香... “池塘里，板没电水没鱼，渔电共生可笑可笑”“货柜里，蛋发臭薯发芽，提醒民众提防提防”“二创版《唐伯虎...

胡锡进：我不认为特朗普真的能与... 特朗普周三表示，他将与赖清德就对台军售问题进行对话，引起轩然大波。周三，在被记者问到他是否计划就美国...

台北市选情突变：白营曾妍洁退党... 海峡导报综合报道 2026年底台湾地区“九合一”选举临近，岛内各政党积极部署。在国民党传统优势选区的...

空调室外机不转怎么办如果是因为空调设置错了导致不转，那么可以重新调成正确的模式；如果是因为电源出现故障，那么可以重新插一...

防溅水龙头里面是怎么安的安装防溅水龙头时，首先我们需要准备好工具：扳手、生料带、防溅水龙头。先将总闸关闭，以免在拆卸原先的水...

香港距“氢能社会”有多远？港署...

安卓手机怎么安装Adobe F... 安卓手机用户可能有时候看不了一些flash动画或者视频。那么安卓手机怎么安装Adobe Flash ...

博士洗衣机的洗涤专用盒A怎么安 1、首先要了解博士洗衣机是哪种型号的。依照小格子中的标注为“1”，此格用做预添加洗衣液，当选择带有预...