基于LSTM网络的序列标注中文分词法

• 作者: 任智慧 周晗 封松林 徐浩煜 施俊
• 来源期刊: 计算机应用研究
• 关键词: 中文分词 LSTM 字嵌入 自然语言处理
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1321-1324,1341
• 页数: 5页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.05.009

摘要

当前主流的中文分词方法是基于字标注的传统机器学习方法,但传统机器学习方法需要人为地从中文文本中配置并提取特征,存在词库维度高且利用CPU训练模型时间长的缺点.针对以上问题进行了研究,提出基于LSTM(long short-term memory)网络模型的改进方法,采用不同词位标注集并加入预先训练的字嵌入向量(character embedding)进行中文分词.在中文分词评测常用的语料上进行实验对比结果表明,基于LSTM网络模型的方法能得到比当前传统机器学习方法更好的性能;采用六词位标注并加入预先训练的字嵌入向量能够取得相对最好的分词性能;而且利用GPU可以大大缩短深度神经网络模型的训练时间;LSTM网络模型的方法也更容易推广并应用到其他自然语言处理中序列标注的任务.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	封松林	中国科学院上海高等研究院	44	296	8.0	16.0
5	施俊	上海大学通信与信息工程学院	36	309	8.0	17.0
6	徐浩煜	中国科学院上海高等研究院	8	139	5.0	8.0
10	周晗	中国科学院上海高等研究院	6	116	3.0	6.0
11	任智慧	上海大学通信与信息工程学院	2	89	2.0	2.0