基于BI-LSTM-CRF模型的中文分词法

• 作者: 刘云清 张子睿
• 来源期刊: 长春理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 中文分词 BI-LSTM-CRF 词位标注
• 年，卷（期）: 2017,（4）
• 页码范围: 87-92
• 页数: 6页
• 分类号: TP391
• 字数: 3654字
• 语种: 中文

摘要

递归神经网络能够很好地处理序列标记问题,已被广泛应用到自然语言处理(NLP)任务中.提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短期记忆条件随机场(BI-LSTM-CRF)模型,不仅保留了LSTM能够利用上下文信息的特性,同时能够通过CRF层考虑输出标签之间前后的依赖关系.利用该分词模型,通过加入预训练的字嵌入向量,以及使用不同词位标注集在Bakeoff2005数据集上进行的分词实验,结果表明:BI-LSTM-CRF模型比LSTM和双向LSTM模型具有更好的分词性能,同时具有很好地泛化能力;相比四词位,采用六词位标注集的神经网络模型能够取得更好的分词性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘云清	长春理工大学电子信息工程学院	59	422	12.0	19.0
2	张子睿	长春理工大学电子信息工程学院	1	22	1.0	1.0