基于弱标注数据的汉语分词领域移植

• 作者: 张民 朱运 李正华 黄德朋
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 汉语分词 领域移植 弱标注数据
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 1-8
• 页数: 8页
• 分类号: TP391
• 字数: 6596字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.09.001

摘要

近年来,基于神经网络的分词模型在封闭领域文本上取得了很高的性能.然而,在领域移植场景下,即测试数据与训练数据的领域差异较大时,分词的性能会显著下降.该文尝试利用自动获取的弱标注数据来提升领域移植场景下的分词性能.首先,对目前性能最好的BiLSTM-CRF分词模型进行扩展,引入适用于弱标注数据的损失函数;进而提出一种简单有效的数据筛选方法,从海量弱标注数据中筛选和目前领域更相关的数据;最后,该文发现数据预处理和在神经网络中引入传统特征均可以有效提高分词性能.在SIGHAN Bakeoff 2010和ZhuXian标注测试集上的实验结果表明,该文所提方法可有效提升汉语分词领域移植性能,平均F值提高了3.6％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张民	苏州大学计算机科学与技术学院	27	94	5.0	9.0
2	李正华	苏州大学计算机科学与技术学院	10	12	2.0	3.0
3	黄德朋	苏州大学计算机科学与技术学院	2	0	0.0	0.0
4	朱运	苏州大学计算机科学与技术学院	1	0	0.0	0.0