elasticsearch系列九：异地容灾-CCR跨集群复制

发布时间：2023年12月29日

概述

???起初只在部分业务中采用es存储数据，在主中心搭建了个集群，随着es在我们系统中的地位越来越重要，数据也越来越多，针对它的安全性问题也越发重要，那如何对es做异地容灾呢？

? ?今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。

环境准备

物理机：96核 64G 2THDD ??国产UOS系统的服务器一台 ip 192.168.229.48

? ?

通过docker快速启动2个es 节点、2个kibana节点，es2个节点为2套独立集群。

名称ip版本
es

172.17.0.2

172.17.0.4

7.15.0
kibana7.15.0
jdkopenjdk version?16.0.2

进程如下图：??

图片

规划：172.17.0.2 为master ?172.17.0.4 为follower ?? ?

设置CCR

? ? ? 由于CCR是收费版本，如果购买公有云的服务就自带这个功能，此处我们通过试用30天来体验一下。

? ? ? 我们先在0.4所在的kibana上打开ccr设置主节点的信息如下图：

图片

? ? ? 接口级设置：

PUT _cluster/settings{  "persistent": {    "cluster": {      "remote": {        "ccr_test": {          "skip_unavailable": false,          "mode": "sniff",          "proxy_address": null,          "proxy_socket_connections": null,          "server_name": null,          "seeds": [            "192.168.229.48:9300"          ],          "node_connections": 3        }      }    }  }}

? ? ??

? ? ? 该功能采用TCP协议，所以我们设置默认端口9300，设置完以后如下图：

图片

?? ? ?并且该功能是基于索引级别的，提供2种方式：创建指定索引同步、自动同步按照索引规则，接下来我们看下2种情况分别如何设置。

设置特定的索引同步

打开follower的kibana，找到ccr设置项如下图：

图片

可以创建一个同步任务，此处只能单个索引设置同步。

图片

接口级设置：

PUT /ccr_test/_ccr/follow{  "remote_cluster": "ccr_test",  "leader_index": "ccr_test",  "max_read_request_operation_count": 5120,  "max_outstanding_read_requests": 12,  "max_read_request_size": "32mb",  "max_write_request_operation_count": 5120,  "max_write_request_size": "9223372036854775807b",  "max_outstanding_write_requests": 9,  "max_write_buffer_count": 2147483647,  "max_write_buffer_size": "512mb",  "max_retry_delay": "500ms",  "read_poll_timeout": "1m"}

创建以后我们就可以在主节点上对索引ccr_test进行crud操作了，在主节点上新增4百万的数据，再去follower上查看发现数据成功同步过来。

图片

但是这种方式有局限性，因为实际生产环境可能有n个索引，比如这种按天生成的日志数据索引如何同步呢？总不能一个个的配置吧，接下来我们就看下自动同步。

设置自动同步

? ? ??我们打开自动同步，添加一个自动任务，通过弹框发现按照固定的格式设置索引同步：

图片

接口级设置：???????

PUT /_ccr/auto_follow/auto-log{  "remote_cluster": "ccr_test",  "leader_index_patterns": [    "log-server-*"  ],  "follow_index_pattern": "{{leader_index}}"}

这样我们就可以将log-server-开头的索引设置自动同步了，此时我们在主节点新增一个索引：???????

POST /log-server-2023-12-25/_doc/1{  "name": "John Doe",  "age": 30,  "email": "johndoe@example.com"}

接着去从节点上看下发现数据已经同步成功

图片

总结

以上就是es官方针对跨集群同步的解决方案，官方文档:? ?https://www.elastic.co/guide/en/elasticsearch/reference/7.17/ccr-getting-started-tutorial.html#ccr-getting-started-tutorial

? ? ? 当然还有其他的方案比如应用双写、自研数据同步、MQ双写等等。对于自己维护的集群来通过MQ双写相对简单，对于公有云服务还是官方的解决方案更为合适。

? ? ? 好了今天的分享就到这了，有什么疑问欢迎留言讨论。

Elasticsearch系列经典文章

图片

文章来源:https://blog.csdn.net/qq_38665235/article/details/135271627
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章