基于BI_LSTM_CRF神经网络的序列标注中文分词方法

• 作者: 吕会华 姚登峰 姚茂建 李晗静
• 来源期刊: 现代电子技术
• 关键词: 自然语言处理 中文分词 神经网络 双向长短时记忆条件随机场 字嵌入 序列标注
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 网络与信息安全
• 页码范围: 95-99
• 页数: 5页
• 分类号: TN711-34|TP391.1
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2019.01.022

摘要

当前主流的中文分词方法是基于有监督的学习算法,该方法需要大量的人工标注语料,并且提取的局部特征存在稀疏等问题.针对上述问题,提出一种双向长短时记忆条件随机场(BI_LSTM_CRF)模型,可以自动学习文本特征,能对文本上下文依赖信息进行建模,同时CRF层考虑了句子字符前后的标签信息,对文本信息进行了推理.该分词模型不仅在MSRA,PKU,CTB 6.0数据集上取得了很好的分词结果,而且在新闻数据、微博数据、汽车论坛数据、餐饮点评数据上进行了实验,实验结果表明,BI_LSTM_CRF模型不仅在测试集上有很好的分词性能,同时在跨领域数据测试上也有很好的泛化能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚登峰	北京联合大学特殊教育学院	20	30	3.0	4.0
2	李晗静	北京联合大学北京市信息服务工程实验室	12	25	3.0	4.0
6	吕会华	北京联合大学特殊教育学院	19	64	5.0	7.0
7	姚茂建	北京联合大学北京市信息服务工程实验室	3	8	2.0	2.0