MySQL数据同步ES的几种方案
1. 同步双写
? ? ? ? 与业务耦合深,且业务响应时间长
2. 异步双写
????????这时可以使用类似MQ这样的中间件,业务主写时向MQ发送一条信息,再由一个聚合服务区消费,最终同步到ES
3. 定时任务
????????不好配置时间,频率高会出现明显的波峰,频率低实时性不够
4. 数据订阅
????????通过canal这种中间件去同步数据,0开发,无侵入,只需要配置好就可以
????????缺点:如果需要数据聚合,那么就需要自己实现,即异步双写
实践:
????????之前我们项目也提供一种系统--->系统的批量数据传输的方式:
? ? ? ? ? ? ? ? 接收方单独启一个TCP端口用来数据传输,根据接收方配置来决定发送方启动多少线程、批次传输量、最大传输时间
????????????????传输完毕以后回调接收方,告知本次传输状态、数据量、业务方配置等信息
????????????????如异常需重新传则 继续上面的 使用 流程,暂不支持异常续传
结语:
????????同步到其他系统或服务 大致实现思路也可参考上述方案