一种基于双向LSTM的联合学习的中文分词方法

• 作者: 徐爱萍 章登义 胡思
• 来源期刊: 计算机应用研究
• 关键词: 中文分词 大规模语料库 联合学习 双向长短时记忆模型
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2920-2924
• 页数: 5页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.03.0239

摘要

针对现有的基于深度学习的神经网络模型通常都是对单一的语料库进行训练学习,提出了一种大规模的多语料库联合学习的中文分词方法.语料库分别为简体中文数据集(PKU、MSRA、CTB6)和繁体中文数据集(CITYU、AS),每一个数据集输入语句的句首和句尾分别添加一对标志符.应用BLSTM(双向长短时记忆模型)和CRF(条件随机场模型)对数据集进行单独训练和多语料库共同训练的实验,结果表明大规模的多语料库共同学习训练能取得良好的分词效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐爱萍	武汉大学计算机学院	44	415	10.0	19.0
2	章登义	武汉大学计算机学院	33	236	8.0	14.0
3	胡思	武汉大学计算机学院	1	1	1.0	1.0