SParC是Text-to-SQL领域的一个多轮查询数据集。本篇博客将对该数据集论文和数据格式进行简要介绍。
SParC是一个跨领域的多轮Text-to-SQL数据集。它包含有4298个问题轮次,大约有12k+的自然语言问句到SQL标注的Question-SQL对。这些问题来自于138个不同领域的200个复杂数据库。
SParC对研究者带来的挑战主要有以下三点:
如下是一次完整的多轮对话示例。
如上图所示,数据库的简介记为 D 1 D_1 D1?,简要介绍了这个数据库的信息,即是一个关于学生宿舍的数据库,包含有5个数据表。而这次交互的目的是 C 1 C_1 C1?,即找到住在拥有电视机休息室的宿舍的学生的姓名。为了实现这个目标,一共进行了四次对话。用户的自然语言问句记为 Q Q Q,系统解析后的SQL语句记为 S S S。
下面将详细介绍一下SParC数据集的收集过程。
SParC数据集的创建包括四个阶段:
为了确保问题序列的主题相关性,SParC使用了Spider数据集(之前的一个单轮Text-to-SQL数据集)中的一些问题作为参考而制定了交互目标。每一系列问题都是围绕着这个最终的交互目标进行。这里SParC使用了Spider数据集中的中等、困难和非常困难的问题作为参考。并在交互过程中为了确保问题的多样性而添加了一些简单的问题。经过选择后,一共在200个数据库上制定了4437个交互目标。
SParC共邀请了15个SQL经验的大学生来进行提问和标注。每个系列中的相邻问题之间有着如下四种主题关联:
在进行完提问后,每个标注者都将对自己的问题进行SQL转化,并确保在相应数据库上执行得到正确的答案。
最后,由英语为母语的标注者将问题进行检查,确保没有语法错误。
SParC数据集的统计特性如下图,相比于ATIS(一个古老的用于航班订票的单数据库Text-to-SQL数据集)。SParC拥有更多的数据库和数据表,同时规模也更大。
同时,SParC对于SQL中的各种高级语法结构的使用也更加丰富。如下图所示,对于像ORDER,HAVING,SET,GROUP等SQL结构,ATIS几乎很少或者并不存在这样的结构。
SParC数据集的划分与SPider数据集保持了一致,即140个数据库训练,20个数据库验证,40个数据库进行测试。其数据规模见下图。
该数据集的下载链接为Link。
原始文件为zip文件,解压后可以看到由以下几个数据文件和数据库文件夹组成:
其中database文件夹中包含了这200个数据库的内容和schema信息。tables.json则包含了json格式的数据库schema信息。
这里以train.json中的第一个交互为例,分析样例数据。
{
"database_id": "hospital_1",
"interaction": [
{
"query": "SELECT count(departmentID) FROM department GROUP BY departmentID",
"utterance_toks": [
"What",
"is",
"the",
"number",
"of",
"employees",
"in",
"each",
"department",
"?"
],
"utterance": "What is the number of employees in each department?",
"sql": {
"orderBy": [],
"from": {
"table_units": [
[
"table_unit",
1
]
],
"conds": []
},
"union": null,
"except": null,
"groupBy": [
[
0,
5,
false
]
],
"limit": null,
"intersect": null,
"where": [],
"having": [],
"select": [
false,
[
[
3,
[
0,
[
0,
5,
false
],
null
]
]
]
]
}
},
{
"query": "SELECT name FROM department GROUP BY departmentID ORDER BY count(departmentID) DESC LIMIT 1;",
"utterance_toks": [
"Which",
"department",
"has",
"the",
"most",
"employees",
"?",
"Give",
"me",
"the",
"department",
"name",
"."
],
"utterance": "Which department has the most employees? Give me the department name.",
"sql": {
"orderBy": [
"desc",
[
[
0,
[
3,
5,
false
],
null
]
]
],
"from": {
"table_units": [
[
"table_unit",
1
]
],
"conds": []
},
"union": null,
"except": null,
"groupBy": [
[
0,
5,
false
]
],
"limit": 1,
"intersect": null,
"where": [],
"having": [],
"select": [
false,
[
[
0,
[
0,
[
0,
6,
false
],
null
]
]
]
]
}
}
],
"final": {
"query": "SELECT name FROM department GROUP BY departmentID ORDER BY count(departmentID) DESC LIMIT 1;",
"utterance": "Find the department with the most employees."
}
},
这里首先声明了它所依赖的数据库是”hospital_1“,本次交互一共有2轮对话,第一轮对话为:”What is the number of employees in each department?“,然后第二轮对话为:”Find the department with the most employees.“。最后的”final“字段声明了最后一轮也就是整个交互的最终目标。其中关于SQL语句的token和各种成分的关系则与Spider相同,详细可以参考这篇博客Spider数据集格式介绍
dev.json则是和train.json同样的格式。
另一个dev_gold.txt则是用于评价最终结果时所使用。