elasticsearch系列九：异地容灾-CCR跨集群复制
概述
???起初只在部分业务中采用es存储数据，在主中心搭建了个集群，随着es在我们系统中的地位越来越重要，数据也越来越多，针对它的安全性问题也越发重要，那如何对es做异地容灾呢？
? ?今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。
环境准备
物理机：96核 64G 2THDD ??国产UOS系统的服务器一台 ip 192.168.229.48
? ?
通过docker快速启动2个es 节点、2个kibana节点，es2个节点为2套独立集群。
| 名称 | ip | 版本 |
|---|---|---|
| es | 172.17.0.2 172.17.0.4 | 7.15.0 |
| kibana | 7.15.0 | |
| jdk | openjdk version?16.0.2 |
进程如下图：??
规划：172.17.0.2 为master ?172.17.0.4 为follower ?? ?
设置CCR
? ? ? 由于CCR是收费版本，如果购买公有云的服务就自带这个功能，此处我们通过试用30天来体验一下。
? ? ? 我们先在0.4所在的kibana上打开ccr设置主节点的信息如下图：
? ? ? 接口级设置：
PUT _cluster/settings{"persistent": {"cluster": {"remote": {"ccr_test": {"skip_unavailable": false,"mode": "sniff","proxy_address": null,"proxy_socket_connections": null,"server_name": null,"seeds": ["192.168.229.48:9300"],"node_connections": 3}}}}}
? ? ??
? ? ? 该功能采用TCP协议，所以我们设置默认端口9300，设置完以后如下图：
?? ? ?并且该功能是基于索引级别的，提供2种方式：创建指定索引同步、自动同步按照索引规则，接下来我们看下2种情况分别如何设置。
设置特定的索引同步
打开follower的kibana，找到ccr设置项如下图：
可以创建一个同步任务，此处只能单个索引设置同步。
接口级设置：
PUT /ccr_test/_ccr/follow{"remote_cluster": "ccr_test","leader_index": "ccr_test","max_read_request_operation_count": 5120,"max_outstanding_read_requests": 12,"max_read_request_size": "32mb","max_write_request_operation_count": 5120,"max_write_request_size": "9223372036854775807b","max_outstanding_write_requests": 9,"max_write_buffer_count": 2147483647,"max_write_buffer_size": "512mb","max_retry_delay": "500ms","read_poll_timeout": "1m"}
创建以后我们就可以在主节点上对索引ccr_test进行crud操作了，在主节点上新增4百万的数据，再去follower上查看发现数据成功同步过来。
但是这种方式有局限性，因为实际生产环境可能有n个索引，比如这种按天生成的日志数据索引如何同步呢？总不能一个个的配置吧，接下来我们就看下自动同步。
设置自动同步
? ? ??我们打开自动同步，添加一个自动任务，通过弹框发现按照固定的格式设置索引同步：
接口级设置：???????
PUT /_ccr/auto_follow/auto-log{"remote_cluster": "ccr_test","leader_index_patterns": ["log-server-*"],"follow_index_pattern": "{{leader_index}}"}
这样我们就可以将log-server-开头的索引设置自动同步了，此时我们在主节点新增一个索引：???????
POST /log-server-2023-12-25/_doc/1{"name": "John Doe","age": 30,"email": "johndoe@example.com"}
接着去从节点上看下发现数据已经同步成功
总结
以上就是es官方针对跨集群同步的解决方案，官方文档:? ?https://www.elastic.co/guide/en/elasticsearch/reference/7.17/ccr-getting-started-tutorial.html#ccr-getting-started-tutorial
? ? ? 当然还有其他的方案比如应用双写、自研数据同步、MQ双写等等。对于自己维护的集群来通过MQ双写相对简单，对于公有云服务还是官方的解决方案更为合适。
? ? ? 好了今天的分享就到这了，有什么疑问欢迎留言讨论。
Elasticsearch系列经典文章
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：chenni525@qq.com进行投诉反馈，一经查实，立即删除！