基于异构数据联合训练的中文分词法

• 作者: 姜猛 王子牛 高建瓴
• 来源期刊: 电子科技
• 学科: 工学
• 关键词: 中文分词 深度学习 Bi-LSTM-CRF 异构数据 联合训练 语料库
• 年，卷（期）: 2019,（4）
• 页码范围: 29-32,59
• 页数: 5页
• 分类号: TP391
• 字数: 4142字
• 语种: 中文
• DOI: 10.16180/j.cnki.issn1007-7820.2019.04.007

摘要

中文分词技术作为中文信息处理中的关键基础技术之一,基于深度学习模型的中文分词法受到广泛关注.然而,深度学习模型需要大规模数据训练才能获得良好的性能,而当前中文分词语料数据相对缺乏且标准不一.文中提出了一种简单有效的异构数据处理方法,对不同语料数据加上两个人工设定的标识符,使用处理过的数据应用于双向长短期记忆网络结合条件随机场(Bi-LSTM-CRF)的中文分词模型的联合训练.实验结果表明,基于异构数据联合训练的Bi-LSTM-CRF模型比单一数据训练的模型具有更好的分词性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王子牛	贵州大学网络与信息化管理中心	38	169	7.0	11.0
2	高建瓴	贵州大学大数据与信息工程学院	39	126	7.0	9.0
3	姜猛	贵州大学大数据与信息工程学院	3	4	1.0	2.0