深入剖析ShardingSphere：探索其内核原理与核心源码，揭秘分库分表技术的奥秘

一、?内核剖析

ShardingSphere虽然有多个产品，但是他们的数据分片主要流程是完全一致的。

解析引擎

????????解析过程分为词法解析和语法解析。?词法解析器用于将SQL?拆解为不可再分的原

子符号，称为Token。??并根据不同数据库方言所提供的字典，将其归类为关键字，

表达式，字面量和操作符。?再使用语法解析器将SQL转换为抽象语法树(简称AST,

Abstract??Syntax??Tree)。

例如对下面一条SQL?语句：

 SELECT id,name FROM t_user WHERE status ='ACTIVE' AND age >18

会被解析成下面这样一颗树：

为了便于理解，抽象语法树中的关键字的?Token?用绿色表示，变量的?Token?用红色表示，灰色表示需要进一步拆分。通过对抽象语法树的遍历，可以标记出所有可能需要改写的位置。

SQL?的一次解析过程是不可逆的，所有token按SQL?原本的顺序依次进行解析，性能?很高。并且在解析过程中，需要考虑各种数据库SQL方言的异同，提供不同的解析模版。

其中，SQL?解析是整个分库分表产品的核心，其性能和兼容性是最重要的衡量指标。ShardingSphere?在1.4x之前采用的是性能较快的Druid?作为SQL解析器。1.5.x ?版本后，采用自研的SQL?解析器，针对分库分表场景，采取对SQL半理解的方式，提?高SQL?解析的性能和兼容性。然后从3.0.x版本后，开始使用ANLTR?作为SQL?解析引??擎。这是个开源的SQL?解析引擎，ShardingSphere 在使用ANLTR?时，还增加了一些AST?的缓存功能。针对ANLTR4?的特性，官网建议尽量采用PreparedStatement?的预编译方式来提高SQL?执行的性能。

sql?解析整体结构：

路由引擎

根据解析上下文匹配数据库和表的分片策略，生成路由路径。

ShardingSphere?的分片策略主要分为单片路由(分片键的操作符是等号)、多片路由?(分片键的操作符是IN)和范围路由(分片键的操作符是Between)。?不携带分片键的SQL???则是广播路由。

分片策略通常可以由数据库内置也可以由用户方配置。内置的分片策略大致可分为 尾数取模、哈希、范围、标签、时间等。?由用户方配置的分片策略则更加灵活，可以根据使用方需求定制复合分片策略。

实际使用时，应尽量使用分片路由，明确路由策略。因为广播路由影响过大，不利于集群管理及扩展。

改写引擎

用户只需要面向逻辑库和逻辑表来写SQL,?最?终?由ShardigSphere?的改写引擎将SQL?改写为在真实数据库中可以正确执行的语句。 SQL?改写分为正确性改写和优化改写。

执行引擎

ShardingSphere?并不是简单的将改写完的SQL?提交到数据库执行。执行引擎的目标是自动化的平衡资源控制和执行效率。

例如他的连接模式分为内存限制模式(MEMORY_STRICTLY) ???和连接限制模式(CONNECTION_STRICTLY)。 ?????内存限制模式只关注一个数据库连接的处理数量，通?常一张真实表一个数据库连接。而连接限制模式则只关注数据库连接的数量，较大的查询会进行串行操作。

归并引擎

将从各个数据节点获取的多数据结果集，组合成为一个结果集并正确的返回至请求

客户端，称为结果归并。

其中，流式归并是指以一条一条数据的方式进行归并，而内存归并是将所有结果集

都查询到内存中，进行统一归并。

二、ShardingSphere的SPI扩展?点

ShardingSphere为了兼容更多的应用场景，在源码中保留了大量的SPI扩展点。所

以在看源码之前，需要对JAVA的SPI机制有足够的了解。

1、?SPI机制

SPI的全名为：Service?Provider?Interface。在java.util.ServiceLoader的文档里有?比较详细的介绍。

简单的总结下 Java SPI 机制的思想。我们系统里抽象的各个模块，往往有很多不同??的实现方案，比如日志模块的方案，xml解析模块、jdbc模块的方案等。面向的对象?的设计里，我们一般推荐模块之间基于接口编程，模块之间不对实现类进行硬编码。

一旦代码里涉及具体的实现类，就违反了可拔插的原则，如果需要替换一种实现， 就需要修改代码。为了实现在模块装配的时候能不在程序里动态指明，这就需要一种服务发现机制。

Java SPI 就是提供这样的一个机制：为某个接口寻找服务实现的机制。有点类似IOC的思想，就是将装配的控制权移到程序之外，在模块化设计中这个机制尤其重要

Java SPI 的具体约定为:当服务的提供者，提供了服务接口的一种实现之后，在jar包?的META-INF/services/目录里同时创建一个以服务接口命名的文件。该文件里就是实现该服务接口的具体实现类。

而当外部程序装配这个模块的时候，就能通过该jar包META-INF/services/里的配置?文件找到具体的实现类名，并装载实例化，完成模块的注入。

基于这样一个约定就能很好的找到服务接口的实现类，而不需要再代码里制定。jdk 提供服务实现查找的一个工具类：java.util.ServiceLoader。

2、?ShardingSphere中的SPI扩展点

ShardingSphere的开发思想是对源码中主体流程封闭，而对SPI开放。在配套的官方文档《shardingsphere_docs_cn.pdf》的开发者手册部分详细列出了?ShardingSphere的所有SPI扩展点。

3、实现自定义主键生成策略

使用ShardingSphere提供的SPI扩展点，实现自定义分布式主键生成策略。参见示?例代码。