MySQL不同插入方式性能对比实验

发布时间：2024年01月22日

最近负责的项目需要数据同步入库MySQL，为了测速那种入库方式效率比较高，为此进行了以下的对比实验，在此记录一下

实验表单数据格式

在这里插入图片描述
在这里插入图片描述

实验代码

共三种方法对比
在这里插入图片描述

mutiSqlInsert:

一条一条插入，最后一次提交

在这里插入图片描述

singleSqlInsert：

用for循环拼接好插入sql，一次执行

在这里插入图片描述

executeBatchInsert：

使用MySQL提供的方法executeBatch()，同样使用一次提交
在这里插入图片描述

实验结果

1W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

10W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert
在这里插入图片描述

2000条数据插入(当前kafka设置的单次最大拉取数为2000)

Kafka配置截图
在这里插入图片描述

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

结论

在一次性拉取数据较少时，mutiSqlInsert和executeBatchInsert的性能相差不大
当一次性插入数据非常多时，比如10W条，singleSqlInsert的性能会急剧下降，甚至不如mutiSqlInsert

关于10W条数据插入时singleSqlInsert的性能会急剧下降的原因，参考此文
https://blog.csdn.net/Tom_sensen/article/details/127922964

在这里插入图片描述

文章来源:https://blog.csdn.net/weixin_44562957/article/details/135737416
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章