基于深度神经网络模型的中文分词方案

• 作者: 张雪芬 忻展红 许峰
• 来源期刊: 哈尔滨工程大学学报
• 学科: 工学
• 关键词: 中文分词 长短期记忆网络 编码-解码模型 词向量 准确率 F值
• 年，卷（期）: 2019,（9）
• 页码范围: 1662-1666
• 页数: 5页
• 分类号: TN911.22
• 字数: 3814字
• 语种: 中文
• DOI: 10.11990/jheu.201812073

摘要

针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案.该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词.为了提升分词性能,进一步提出了一种基于词向量的修正方法,对采用上述模型的分词结果进行修正.对典型微博语料数据集的实验结果表明,提出基于模型的分词性能相对于传统的分词软件的分词性能有了较大提升.采用提出的词向量修正方法修正后的分词准确率和F值略优于未修正的分词准确率和F值,从而验证了论文提出的分词方案的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	忻展红	北京邮电大学经济管理学院	81	467	11.0	17.0
2	张雪芬	北京联合大学智慧城市学院	4	9	2.0	3.0
3	许峰	北京邮电大学经济管理学院	2	9	2.0	2.0