基于改进位置成词概率的微博新词发现算法

• 作者: 张大秀 朱红泽 李玲 邹志文
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 微博新词 位置成词概率 N元递增算法 组合词
• 年，卷（期）: 2019,（1）
• 页码范围: 1-2
• 页数: 2页
• 分类号: TP391.1

摘要

针对传统的新词的提取方法无法有效地提取组合词(常用词和常用词组合)的问题,该文提出基于改进位置成词概率和N元递增算法的微博新词的提取。算法的核心任务是通过改进位置成词概率和邻接对结合来有效地提取由几个毫无相关的常用词拼接而成的新词,即组合词,从而提高算法的准确率和召回率。首先,对由几个微博话题下的一段时间内评论所聚合成的微博长文本进行预处理;然后,在N元递增算法查询的过程中,通过改进位置成词概率判断频繁字串的扩展方向;最后,通过对频繁字串剪枝来减少冗余字串。实验结果证明本文所提出的算法能够有效地提取微博新词中的组合词。