基于领域词典的动态规划分词算法

• 作者: 余正涛 相艳 蒋卫丽 邵党国 郑娜 陈振华 马磊
• 来源期刊: 南京理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 动态规划 词典 领域适应性 隐马尔可夫模型 召回率 准确率 中文分词
• 年，卷（期）: 2019,（1）
• 页码范围: 63-71
• 页数: 9页
• 分类号: TP391
• 字数: 5194字
• 语种: 中文
• DOI: 10.14177/j.cnki.32-1397n.2019.43.01.009

摘要

由于中文分词的复杂性,不同专业领域具有不同的词典构造.该文通过隐马尔可夫模型( Hidden Markov model,HMM)中文分词模型对文本信息进行初步分词,并结合相关的搜狗领域词库构建出对应的领域词典,对新词出现进行监控,实时优化更新,从而提出了一种基于领域词典的动态规划分词算法.通过对特定领域的信息进行分词实验,验证了该文提出的分词算法可获得较高的分词准确率与召回率.实验结果表明,基于领域词典的动态规划分词算法与基于领域词典的分词算法相比,准确率和召回率都有提升.基于领域词典的动态规划分词算法与传统的smallseg分词、snailseg分词算法相比,分词召回率和准确率都有提升,分词召回率提升了大约1%,分词准确率提升了大约8%,进一步说明了该文提出的分词算法具有很好的领域适应性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	余正涛	昆明理工大学信息工程与自动化学院	122	877	17.0	24.0
2	相艳	昆明理工大学信息工程与自动化学院	36	92	5.0	8.0
3	马磊	昆明理工大学信息工程与自动化学院	47	127	6.0	9.0
4	邵党国	昆明理工大学信息工程与自动化学院	31	112	5.0	10.0
5	郑娜	昆明理工大学信息工程与自动化学院	2	14	2.0	2.0
6	蒋卫丽	昆明理工大学信息工程与自动化学院	4	10	1.0	3.0
7	陈振华	昆明理工大学信息工程与自动化学院	2	10	2.0	2.0