Zookeeper是一个开放源码的 分布式协调服务 ,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
Zookeeper保证了如下分布式一致性特性:
客户端的读请求可以被集群中的任意一台机器处理,如果读请求在节点上注册了监听器,这个监听器也是由所连接的Zookeeper机器来处理。对于写请求,这些请求会同时发给其他Zookeeper机器并且达成一致后,请求才会返回成功。因此,随着Zookeeper的集群机器增多,读请求的吞吐会提高但是写请求的吞吐会下降。有序性是Zookeeper中非常重要的一个特性,所有的更新都是全局有序的,每个更新都有一个唯一的时间戳,这个时间戳称为 zxid(Zookeeper Transaction Id)。而读请求只会相对于更新有序,也就是读请求的返回结果中会带有这个Zookeeper最新的zxid。
Zookeeper: Zookeeper用来注册服务和进行负载均衡,哪一个服务由哪一个机器来提供必需让调用者知道, 简单来说就是ip地址和服务名称的对应关系。当然也可以通过硬编码的方式把这种对应关系在调用方业务代码中实现,但是如果提供服务的机器挂掉,调用者无法知晓,如果不更改代码会继续请求挂掉的机器提供服务。 Zookeeper通过 心跳机制 可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。至于支持高并发,简单来说就是横向扩展,在不更改代码的情况通过添加机器来提高运算能力。通过添加新的机器向 Zookeeper注册服务,服务的提供者多了能服务的客户就多了。
Dubbo: 是管理中间层的工具,在业务层到数据仓库间有非常多服务的接入和服务提供者需要调度,dubbo提供一个框架解决这个问题。
Zookeeper和 Dubbo的关系: Dubbo将注册中心进行抽象,它可以外接不同的存储媒介给注册中心提供服务,有 Zookeeper, Memcached, Redis等。注意这里的 dubbo只是一个框架,这个框架中要完成调度必须要有一个分布式的注册中心,储存所有服务的元数据,可以用Zookeeper,也可以用别的。
Zookeeper提供一个多层级的节点命名空间(节点称为 znode)。与文件系统不同的是,这些节点都可以设置关联的数据,而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟,在内存中维护了这个树状的目录结构,这种特性使得 Zookeeper不能用于存放大量的数据,每个节点的存放数据上限为1M。
ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持 崩溃恢复的原子广播协议 。
ZAB协议包括两种基本的模式: 崩溃恢复 和 消息广播 。
当整个Zookeeper集群刚刚启动或者Leader服务器宕机、重启或者网络故障导致不存在过半的服务器与Leader服务器保持正常通信时,所有进程(服务器)进入崩溃恢复模式,首先选举产生新的Leader服务器,然后集群中Follower服务器开始与新的Leader服务器进行数据同步,当集群中超过半数机器与该Leader服务器完成数据同步之后,退出恢复模式进入消息广播模式,Leader服务器开始接收客户端的事务请求生成事物提案来进行事务请求处理。
Zookeeper本身也是集群,推荐配置 不少于3个服务器 。Zookeeper自身也要保证当一个节点宕机时,其他节点会继续提供服务。 如果是一个Follower宕机,还有2台服务器提供访问,因为Zookeeper上的数据是有多个副本的,数据并不会丢失; 如果是一个Leader宕机,Zookeeper会选举出新的Leader。
Zookeeper集群的机制是只要超过半数的节点正常,集群就能正常提供服务。 只有在Zookeeper节点挂得太多,只剩一半或不到一半节点能工作,集群才失效。
所以:
Zookeeper有三种部署模式:
Zookeeper是一个典型的 发布/订阅模式 的分布式数据管理与协调框架,开发人员可以使用它来进行分布式数据的发布和订阅。 通过对 Zookeeper中丰富的数据节点进行交叉使用,配合 Watcher事件通知机制 ,可以非常方便的构建一系列分布式应用,会涉及的核心功能:
Zookeeper允许客户端向服务端的某个 Znode注册个 Watcher监听,当服务端的一些指定事件触发了这个Watcher,服务端会向指定客户端发送一个事件通知来实现分布式的通知功能,客户端根据Watcher通知状态和事件类型做出业务上的改变。
工作机制:
Watcher 特性总结
一次性:无论是服务端还是客户端,一旦一个 Watcher 被 触 发 ,Zookeeper 都会将其从相应的存储中移除。这样的设计有效的减轻了服务端的压力,不然对于更新非常频繁的节点,服务端会不断的向客户端发送事件通知,无论对于网络还是服务端的压力都非常大。
客户端串行执行: 客户端 Watcher 回调的过程是一个串行同步的过程。
轻量:
Watcher 通知非常简单,只会告诉客户端发生了事件,而不会说明事件的具体内容。
客户端向服务端注册 Watcher 的时候,并不会把客户端真实的 Watcher 对象实体传递到服务端,仅仅是在客户端请求中使用 boolean 类型属性进行了标记。
watcher event异步发送:watcher 的通知事件从 server 发送到 client 是异步的,这就存在一个问
题,不同的客户端和服务器之间通过 socket 进行通信,由于网络延迟或其他因素导致客户端在不通的时刻监听到事件,由于 Zookeeper 本身提供了 ordering guarantee,即客户端监听事件后,才会感知它所监视 znode发生了变化。所以我们使用 Zookeeper 不能期望能够监控到节点每次的变化。Zookeeper 只能保证最终的一致性,而无法保证强一致性。
1、客户端注册 Watcher实现
2、调用 getData() / getChildren() / exist() 三个API,传入Watcher对象
3、标记请求request,封装Watcher到 WatchRegistration
4、封装成 Packet 对象,发服务端发送request
5、收到服务端响应后,将Watcher注册到 ZookeeperWatcherManager 中进行管理
6、请求返回,完成注册。
1、 服务端接收Watcher并存储接收到客户端请求,处理请求判断是否需要注册Watcher,需要的话将数据节点的节点路径和ServerCnxn(ServerCnxn代表一个客户端和服务端的连接,实现了Watcher的process接口,此时可以看成一个Watcher对象)存储在WatcherManager的WatchTable和watch2Paths中去。
2、 Watcher触发
以服务端接收到 setData() 事务请求触发NodeDataChanged事件为例:
封装WatchedEvent
将通知状态(SyncConnected)、事件类型(NodeDataChanged)以及节点路径封装成一个WatchedEvent对象
查询Watcher
从WatchTable中根据节点路径查找Watcher 没找到;说明没有客户端在该数据节点上注册过Watcher 找到;提取并从WatchTable和Watch2Paths中删除对Watcher(从这里可以看出Watcher在服务端是一次性的,触发一次就失效了)
3、 调用process方法来触发Watcher 这里process主要就是通过ServerCnxn对应的TCP连接发送
Watcher事件通知。
1、客户端 SendThread 线程接收事件通知,交由 EventThread线程回调 Watcher。
2、客户端的Watcher机制同样是一次性的,一旦被触发后,该 Watcher就失效了。
不是永久的。 官方声明:一个 Watch事件是一个次性的触发器,当被设置了 Watch的数据发生了改变的时候,则服务器将这个改变发送给设置了 Watch的客户端,以便通知它们。
原因: 如果服务端变动频繁,而监听的客户端很多情况下,每次变动都要通知到所有的客户端,给网络和服务器造成很大压力。一般是客户端执行 getData (“/节点”,true),如果节点A发生了变更或删除,客户端会得到它的 watch事件,但是在之后节点A又发生了变更,而客户端又没有设置 watch事件,就不再给客户端发送。
在实际应用中,很多情况下,我们的客户端不需要知道服务端的每一次变动,我只要最新的数据即可。
UGO(User/Group/Others)
目前在 Linux/Unix 文件系统中使用,也是使用最广泛的权限控制方式。是一种粗粒度的文件系统
权限控制模式。
ACL(Access Control List)访问控制列表
包括三个方面
1、权限模式(Scheme)
2、 授权对象:授权对象指的是权限赋予的用户或一个指定实体,例如IP地址或是机器灯。
3、 权限 Permission
Leader
(1)事务请求的唯一调度和处理者,保证集群事务处理的顺序性
(2)集群内部各服务的调度者
Follower
(1)处理客户端的非事务请求,转发事务请求给 Leader 服务器
(2)参与事务请求 Proposal 的投票
(3)参与 Leader 选举投票
Observer
(1)3.0 版本以后引入的一个服务器角色,在不影响集群事务处理能力的基础上提升集群的非事务处理能力
(2)处理客户端的非事务请求,转发事务请求给 Leader 服务器
(3)不参与任何形式的投票
1、LOOKING :寻找Leader状态。当服务器处于该状态时,它会认为当前集群中没有Leader,因此需要进入Leader选举状态。
2、FOLLOWING :跟随者状态。表明当前服务器角色是Follower。
3、LEADING :领导者状态。表明当前服务器角色是Leader。 4、 OBSERVING :观察者状态。表明当前服务器角色是Observer。
其实就是水平扩容,Zookeeper在这方面不太好。 两种方式:
3.5版本开始支持动态扩容。
3.2.0版本后,添加了特性,该特性允许每个客户端为自己设置一个命名空间。如果一个客户端设置了Chroot,那么该客户端对服务器的任何操作,都将会被限制在其自己的命名空间下。
通过设置 Chroot,能够将一个客户端应用与 Zookeeper服务端的一颗子树相对应。
Zookeeper 的核心是原子广播机制,这个机制保证了各个 server 之间的同步。实现这个机制的协
议叫做 Zab 协议。Zab 协议有两种模式,它们分别是恢复模式和广播模式。
恢复模式
当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数 server
完成了和 leader 的状态同步以后,恢复模式就结束了。状态同步保证了 leader 和 server 具有相
同的系统状态。
广播模式
一旦 leader 已经和多数的 follower 进行了状态同步后,它就可以开始广播消息了,即进入广播状
态。这时候当一个 server 加入 Zookeeper 服务中,它会在恢复模式下启动,发现 leader,并和
leader 进行状态同步。待到同步结束,它也参与消息广播。Zookeeper 服务一直维持在
Broadcast 状态,直到 leader 崩溃了或者 leader 失去了大部分的 followers 支持。
分桶策略:将类似的会话放在同一区块中进行管理,以便于 Zookeeper 对会话进行不同区块的隔离处理以及同一区块的统一处理。
分配原则:每个会话的“下次超时时间点”(ExpirationTime)
计算公式:
整个集群完成 Leader 选举之后,Learner(Follower 和 Observer 的统称)会向Leader 服务器进行注册。当 Learner 服务器想 Leader 服务器完成注册后,进入数据同步环节。
数据同步流程:(均以消息传递的方式进行)
Learner 向 Learder 注册
数据同步
同步确认
Zookeeper 的数据同步通常分为四类:
? (1)直接差异化同步(DIFF 同步)
? (2)先回滚再差异化同步(TRUNC+DIFF 同步)
? (3)仅回滚同步(TRUNC 同步)
? (4)全量同步(SNAP 同步)
在进行数据同步前,Leader服务器会完成数据同步初始化:
peerLastZxid:从learner服务器注册时发送的ACKEPOCH消息中提取lastZxid(该Learner
服务器最后处理的ZXID)
minCommittedLog:Leader服务器Proposal缓存队列committedLog中最小ZXID
maxCommittedLog:Leader服务器Proposal缓存队列committedLog中最大ZXID
直接差异化同步(DIFF同步) 场景:peerLastZxid介于minCommittedLog和maxCommittedLog
之间
? 场景:当新的Leader服务器发现某个Learner服务器包含了一条自己没有的事务记录,那么就需要让该Learner服务器进行事务回滚–回滚到Leader服务器上存在的,同时也是最接近于peerLastZxid的ZXID
仅回滚同步(TRUNC同步)
场景:peerLastZxid 大于 maxCommittedLog
全量同步(SNAP同步)
场景一:peerLastZxid 小于 minCommittedLog
场景二:Leader服务器上没有Proposal缓存队列且peerLastZxid不等于lastProcessZxid
Zookeeper 采用了全局递增的事务 Id 来标识,所有的 proposal(提议)都在被提出的时候加上了zxid,zxid 实际上是一个 64 位的数字,高 32 位是 epoch( 时期; 纪元; 世; 新时代)用来标识leader 周期,如果有新的 leader 产生出来,epoch会自增,低 32 位用来递增计数。当新产生proposal 的时候,会依据数据库的两阶段过程,首先会向其他的 server 发出事务执行请求,如果超过半数的机器都能执行并且能够成功,那么就会开始执行。
在分布式环境中,有些业务逻辑只需要集群中的某一台机器进行执行,其他的机器可以共享这个结果,这样可以大大减少重复计算,提高性能,于是就需要进行 leader 选举。
Zookeeper 本身也是集群,推荐配置不少于 3 个服务器。Zookeeper 自身也要保证当一个节点宕机时,其他节点会继续提供服务。
如果是一个 Follower 宕机,还有 2 台服务器提供访问,因为 Zookeeper 上的数据是有多个副本的,数据并不会丢失;
如果是一个 Leader 宕机,Zookeeper 会选举出新的 Leader。
Zookeeper 集群的机制是只要超过半数的节点正常,集群就能正常提供服务。只有在 Zookeeper节点挂得太多,只剩一半或不到一半节点能工作,集群才失效。
所以
? 3 个节点的 cluster 可以挂掉 1 个节点(leader 可以得到 2 票>1.5)
? 2 个节点的 cluster 就不能挂掉任何 1 个节点了(leader 可以得到 1 票<=1)
Zookeeper的负载均衡是可以调控,nginx 只是能调权重,其他需要可控的都需要自己写插件;但是 nginx的吞吐量比 Zookeeper 大很多,应该说按业务选择用哪种方式。
java 客户端:Zookeeper 自带的 Zookeeperclient 及 Apache 开源的 Curator。
chubby 是 google 的,完全实现 paxos 算法,不开源。zookeeper 是 chubby的开源实现,使用zab 协议,paxos 算法的变种。
常用命令:ls get set create delete 等。
相同点
(1)两者都存在一个类似于 Leader 进程的角色,由其负责协调多个 Follower 进程的运行
(2)Leader 进程都会等待超过半数的 Follower 做出正确的反馈后,才会将一个提案进行提交
(3)ZAB 协议中,每个 Proposal 中都包含一个 epoch 值来代表当前的 Leader周期,Paxos 中名字为 Ballot
不同点
ZAB 用来构建高可用的分布式数据主备系统(Zookeeper),Paxos 是用来构建分布式一致性状态机系统。
Zookeeper 是一个典型的发布/订阅模式的分布式数据管理与协调框架,开发人员可以使用它来进行分布式数据的发布和订阅。
通过对 Zookeeper 中丰富的数据节点进行交叉使用,配合 Watcher 事件通知机制,可以非常方便的构建一系列分布式应用中年都会涉及的核心功能,如:
(1)数据发布/订阅
(2)负载均衡
(3)命名服务
(4)分布式协调/通知
(5)集群管理
(6)Master 选举
(7)分布式锁
(8)分布式队列
1、数据发布/订阅
介绍
数据发布/订阅系统,即所谓的配置中心,顾名思义就是发布者发布数据供订阅者进行数据订阅。
目的
设计模式
数据(配置信息)特性
(1)数据量通常比较小
(2)数据内容在运行时会发生动态更新
(3)集群中各机器共享,配置一致如:机器列表信息、运行时开关配置、数据库配置信息等
基于 Zookeeper 的实现方式
2、负载均衡
分布式通知和协调
Zookeeper 的命名服务(文件系统)
命名服务是指通过指定的名字来获取资源或者服务的地址,利用 Zookeeper 创建一个全局的路径,即是唯一的路径,这个路径就可以作为一个名字,指向集群中的集群,提供的服务的地址,或者一个远程的对象等等。
Zookeeper 的配置管理(文件系统、通知机制)
程序分布式的部署在不同的机器上,将程序的配置信息放在 Zookeeper 的 znode 下,当有配置发生改变时,也就是 znode 发生变化时,可以通过改变 Zookeeper 中某个目录节点的内容,利用 watcher 通知给各个客户端,从而更改配置。
Zookeeper 集群管理(文件系统、通知机制)
Zookeeper 分布式锁(文件系统、通知机制)
Zookeeper 队列管理(文件系统、通知机制)
两种类型的队列:
(1)同步队列,当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达。
(2)队列按照 FIFO 方式进行入队和出队操作。
第一类,在约定目录下创建临时目录节点,监听节点数目是否是我们要求的数目。
第二类,和分布式锁服务中的控制时序场景基本原理一致,入列有编号,出列按编号。在特定的目录下创建 PERSISTENT_SEQUENTIAL 节点,创建成功时Watcher 通知等待的队列,队列删除序列号最小的节点用以消费。此场景下Zookeeper 的 znode 用于消息存储,znode 存储的数据就是消息队列中的消息内容,SEQUENTIAL 序列号就是消息的编号,按序取出即可。由于创建的节点是持久化的,所以不必担心队列消息的丢失问题。
集群管理:监控节点存活状态、运行请求等;
主节点选举:主节点挂掉了之后可以从备用的节点开始新一轮选主,主节点选举说的就是这个选举的过程,使用 Zookeeper 可以协助完成这个过程;
分布式锁:Zookeeper 提供两种锁:独占锁、共享锁。独占锁即一次只能有一个线程使用资源,共享锁是读锁共享,读写互斥,即可以有多线线程同时读同一个资源,如果要使用写锁也只能有一个线程使用。Zookeeper 可以对分布式锁进行控制。
命名服务:在分布式系统中,通过使用命名服务,客户端应用能够根据指定名字来获取资源或服务的地址,提供者等信息。
client 端会对某个 znode 建立一个 watcher 事件,当该 znode 发生变化zk 的通知,然后 client 可以根据 znode 变化来做出业务上的改变等。