基于Trie树的词语左右熵和互信息新词发现算法

• 作者: 张恒旭 王嘉岐 秦怀斌 郭理
• 来源期刊: 现代电子技术
• 关键词: 新词发现算法 左右熵 互信息 Trie树 算法设计 对比验证
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 计算机科学与应用
• 页码范围: 65-69
• 页数: 5页
• 分类号: TN911-34|TP391.1
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.06.016

摘要

由于大量新词的出现,使得中文文本分析产生了较大的困难,因此新词发现成为目前中文自然语言处理中的热点和难点问题.为此,文中提出了一种基于Trie树的词语左右熵和互信息新词发现算法.先根据成词规则,筛选掉文本中的停用词和非中文字符,将每个字与其右邻的字组成二元组;然后利用左右信息熵和互信息进行成词概率的计算,根据计算到的成词概率和词频筛选出新词;并且设计了三个实验,验证了算法的有效性和可行性.实验结果表明,该新词发现算法成词准确率较高,比其他新词发现算法时间效率有较大的提高,对于中文分词结果的优化起到重要的作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦怀斌	石河子大学信息科学与技术学院	45	205	7.0	12.0
2	郭理	石河子大学信息科学与技术学院	56	366	8.0	17.0
3	王嘉岐	石河子大学信息科学与技术学院	2	0	0.0	0.0
4	张恒旭	石河子大学信息科学与技术学院	2	0	0.0	0.0