基于Transformer网络的中文单字词检错方法研究

• 作者: 曹阳 曹存根 王石
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 单字词检错 Transformer网络 滑动窗口
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 自然语言处理应用
• 页码范围: 135-142
• 页数: 8页
• 分类号: TP391
• 语种: 中文

摘要

错别字自动识别是自然语言处理中一项重要的研究任务,在搜索引擎、自动问答等应用中具有重要价值.尽管传统方法在识别文本中多字词错误方面的准确率较高,但由于中文单字词错误具有特殊性,传统方法对中文单字词检错准确率较低.该文提出了一种基于Transformer网络的中文单字词检错方法.首先,该文通过充分利用汉字混淆集和Web网页构建中文单字词错误训练语料库.其次,在实际测试过程中,该文对实际的待识别语句采用滑动窗口方法,对每个滑动窗口中的句子片段分别进行单字词检错,并且综合考虑不同窗口的识别结果.实验表明,该方法具有较好的实用性.在自动生成的测试集上,识别准确率和召回率分别达到83.6％ 和65.7％;在真实测试集上,识别准确率和召回率分别达到82.8％ 和61.4％.