在先前的技术博客中,我们已经详细介绍过数据库的 parser 模块与执行流程:用户输入的 SQL 语句通过词法解析器生成 token,再通过语法分析器生成抽象语法树(AST),经过 AST 生成对应的 planNode,最后执行 planNode。本期博客我们将以新增语法为例,重点介绍一条 SQL 语句需要历经的流程,以及如何自定义 SQL 语句和功能。
KaiwuDB 是通过 goyacc 解析 sql.y 中的代码生成 AST,而我们想要新增一个语法,则需要在 sql.y 中添加对应的关键字以及对应的语法解析规则,最后在代码中添加对应的语法节点以及功能实现。我们以创建时序数据库的语法 CREATE TS DATABASE xxx 为例,讲解如何添加新 SQL 语句,以及该语句的执行过程。
词法分析器是通过一个个关键字解析整条语句,所以第一步我们需要将整条语句涉及到的所有关键字定义完毕。
搜索 pkg/sql/parser/sql.y 文件,在文件中找到 %token(这个代表着定义的关键字),我们可以在这里看到已经有 CREATE 和 DATABASE 关键字,所以需要新增一个 TS 关键字。
Go
......
%token <str> TS
......
加好关键字后,我们还需定义其是保留关键字或是非保留关键字,非保留关键字可以作为标识符使用并在使用时需要加上双引号。所以,我们需要将 TS 加到非保留关键字里中。
Go
unreserved_keyword:
......
| TS
......
添加完毕后,词法分析器即可解析整条语句的所有关键字,接下来我们需要定义一个新的语法规则,使得语法解析器可以处理这条新的语句。
新的语法首先要给它定义一个类型。在 sql.y 中,一条 SQL 语句的类型都是 %type <tree.Statement> 。
Go
......
%type <tree.Statement> create_ts_database_stmt
......
然后将该语法放到语法 case 列表中,这条语法属于 create_ddl_stmt 的一部分,我们将其放在 create_ddl_stmt 下方即可。
Go
create_ddl_stmt:
......
| create_ts_database_stmt // EXTEND WITH HELP: CREATE TS_DATABASE
......
接下来需要为该语法添加对应的语法规则和帮助信息:
Go
// %Help: CREATE TS_DATABASE - create a new ts database
// %Category: DDL
// %Text: CREATE TS_DATABASE <name>
create_ts_database_stmt:
CREATE TS DATABASE database_name{
......
}
| CREATE TS DATABASE error // SHOW HELP: CREATE DATABASE
到这里,整个 parser 部分就可以识别这条新的语法并提示相应信息,但现在还没有添加具体的语法操作,所以整个语法还不能完全执行。
在解析器可以成功解析语法后,我们需要添加对应的语义,来让整条 SQL 语句执行。而这一步就是生成一个抽象语法树(AST),将语句信息从 parser 阶段传到执行阶段。
在上文中我们将 create_ts_database_stmt 添加为 tree.Statement 类型,所以我们还需要实现 tree.Statement 类型的接口,其后还需要实现以下几个方法:
为此,所以首先要定义一个结构体,可以作为整条语句解析的返回值,用以实现上述的几种方法。对于我们想要添加的语句,可以复用原来的 CreateDatabase 结构体并在其中添加一个字段 EngineType 用来代表是否为时序数据库。该结构体已经实现了以上几种方法,但我们添加了新的语法,所以要在 Format 方法中将新的语法 Format 方式添加进去。
Go
// Format implements the NodeFormatter interface.
func (node *CreateDatabase) Format(ctx *FmtCtx) {
ctx.WriteString("CREATE ")
if node.EngineType == EngineTypeTimeseries {
ctx.WriteString("TS ")
}
......
}
接下来我们将 parser 部分补全,让它返回一个对应的 CreateDatabase 节点。
Go
// %Help: CREATE TS_DATABASE - create a new ts database
// %Category: DDL
// %Text: CREATE TS_DATABASE <name>
create_ts_database_stmt:
CREATE TS DATABASE database_name{
$$.val = &tree.CreateDatabase{
Name: tree.Name($4),
EngineType: 1,
}
}
| CREATE TS DATABASE error // SHOW HELP: CREATE DATABASE
至此,整条语句已经可以成功识别并执行。但由于我们是复用已有的 CreateDatabase 结构,所以执行流程还需要对应的修改。如果是新增一个新的结构体,我们需要在 plan.go 中新加一个 planNode,用于生成执行计划,
Go
var _ planNode = &createDatabaseNode{}
planNode 也有以下几个接口需要实现:
startExec(params runParams)
Next(params runParams)
Values()
Close(ctx context.Context)
在 buildOpaque 新增一个 case,用于执行时识别 AST 结构,生成对应的 planNode。
Go
......
switch n := stmt.(type) {
case *tree.CreateDatabase:
plan, err = p.CreateDatabase(ctx, n)
......
目前我们已有对应的 createDatabaseNode ,所以无需再新增。而在 CreateDatabase 中需要我们将 AST 转成 planNode,并需要做出语义上的检查与限制。
最后一步就是要定义如何执行整条语句,在 startExec 方法中,通过构建好的 planNode 去实现我们所需的语法功能。
Go
func (n *createDatabaseNode) startExec(params runParams) error {
......
}
至此,新增的该语法功能已实现。