MySQL同步ES的几种方案

发布时间:2024年01月13日

MySQL数据同步ES的几种方案

1. 同步双写

? ? ? ? 与业务耦合深,且业务响应时间长

2. 异步双写

????????这时可以使用类似MQ这样的中间件,业务主写时向MQ发送一条信息,再由一个聚合服务区消费,最终同步到ES

3. 定时任务

????????不好配置时间,频率高会出现明显的波峰,频率低实时性不够

4. 数据订阅

????????通过canal这种中间件去同步数据,0开发,无侵入,只需要配置好就可以

????????缺点:如果需要数据聚合,那么就需要自己实现,即异步双写


实践:

????????之前我们项目也提供一种系统--->系统的批量数据传输的方式:

? ? ? ? ? ? ? ? 接收方单独启一个TCP端口用来数据传输,根据接收方配置来决定发送方启动多少线程、批次传输量、最大传输时间

????????????????传输完毕以后回调接收方,告知本次传输状态、数据量、业务方配置等信息

????????????????如异常需重新传则 继续上面的 使用 流程,暂不支持异常续传


结语:

????????同步到其他系统或服务 大致实现思路也可参考上述方案

文章来源:https://blog.csdn.net/weixin_44700876/article/details/135459122
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。