基于互信息和邻接熵的新词发现算法

• 作者: 刘伟童 刘培玉 刘文锋 李娜娜
• 来源期刊: 计算机应用研究
• 关键词: 新词发现 互信息 邻接熵 微博语料
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1293-1296
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2017.11.0745

摘要

如何快速高效地识别新词是自然语言处理中一项非常重要的任务.针对当前新词发现存在的问题,提出了一种从左至右逐字在未切词的微博语料中发现新词的算法.通过计算候选词语与其右邻接字的互信息来逐字扩展,得到候选新词;并通过计算邻接熵、删除候选新词的首尾停用词和过滤旧词语等方法来过滤候选新词,最终得到新词集.解决了因切词错误导致部分新词无法识别以及通过n-gram方法导致大量重复词串和垃圾词串识别为新词的问题.最后通过实验验证了该算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘培玉	山东师范大学信息科学与工程学院	126	1276	18.0	27.0
3	刘文锋	山东师范大学信息科学与工程学院	18	39	4.0	5.0
7	李娜娜	山东师范大学信息科学与工程学院	7	30	4.0	5.0
13	刘伟童	山东师范大学信息科学与工程学院	2	16	2.0	2.0