2023 年中国高校大数据挑战赛 赛题 A 中文文本纠错

中文文本纠错的任务主要是针对中文文本中出现的错误进行检测和纠正，属于人工智能自然语言处理的研究子方向。中文文本纠错通常使用的场景有政务公文、裁判文书、新闻出版等，中文文本纠错对于以中文作为母语的使用者更为适用。基于此，本赛题主要选取中文母语者撰写的网络文本为校对评测数据，要求参赛者从拼写错误、语法错误、语病错误等多个方面考察中文文本纠错系统的自然语言理解能力和纠错能力。

【数据说明及其使用方法】

1、本次赛题选择网络文本作为纠错数据，要求参赛者从中检测并纠正错误， 实现中文文本纠错系统。数据中包含的错误类型有：拼写错误，包括别字和别词； 语法错误，包括冗余、缺失、乱序；语病错误，包括语义重复及句式杂糅。

2、本赛题提供的训练数据及验证数据见“数据集.zip”，训练集规模为 10 万

句，验证集规模为 1000 句。参赛队伍也可以使用公开数据集及其他开放型数据对模型进行训练。

3、训练数据使用方法：

训练数据文件中，每一行为一条训练数据，每一条训练数据为json格式，ID 字段为数据ID，source字：段为待纠正文本，target字段为纠正后的文本。

训练数据样例：

{"ID": "ID18423310", "source": "洛赞曾经看到安妮在她的头发上戴着一条红色缎带，并称这对她来说太“年轻化”，郡钩位骄傲小姐回答说：“我队伍中的人总是年轻”。", "target":?"洛赞曾经看到安妮在她的头发上戴着一条红色缎带，并称这对她来说太“年轻化”，这位骄傲的小姐回答说：“我的队伍中的人总是年轻”。"}

4、验证集使用方式：

具体的输入、输出格式如下：

输入：输入文件每行包含句子ID及相对应的待校对句子，句子ID及相对应的待校对句子之间用“\t”进行分割。

输出：输出文件每行包含句子ID及对应的纠错结果。纠错结果中每处错误包含错误位置、错误类型、错误字词及正确字词。每处错误及多处错误间均以英文逗号分隔，文件编码采用utf-8 编码。

输入文件示例：

pid=0011-1 关于瑞典时装公司拒绝使用新疆产品的言轮在华引发广泛

0 基于赛题提供的数据，请自主查阅资料，选择合适的方法完成如下任务： 任务一：分析数据集“train_large_v2.json”，自主进行数据预处理，选择合适

的指标用于中文文本纠错，并说明选择指标的原因。

任务二：根据赛题的描述，请分析问题，并对比业界主流的解决问题方案， 提出你的解决问题的思路，并设计相关模型。

任务三：使用任务二所构建的模型，对所提供的数据集进行模型训练，并纠正验证集中文本的中文错误。