基于主题树的微博突发话题检测

• 作者: 邱云飞 邵良杉 郭弥纶
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 潜在狄利克雷分配 主题树 语义相似度 空间向量模型 话题检测
• 年，卷（期）: 2014,（8）
• 所属期刊栏目: 人工智能
• 页码范围: 2332-2335
• 页数: 4页
• 分类号: TP391|TP18
• 字数: 4370字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2014.08.2332

摘要

针对传统话题检测方法不能很好处理微博中用语不规范、随意性强、指代不明确以及存在大量网络用语的问题,提出了一种基于潜在狄利克雷分配(LDA)模型的主题树检测方法.首先,运用自然语言处理(NLP)中增大信息熵的方法将相关微博整理成一棵主题树,配合狄利克雷先验α与经验值β随主题数目动态变化的设计思想,结合该模型独特的双重概率统计模式,实现了对文本中每个词“贡献度”的统计,提前处理掉干扰信息,排除垃圾数据对话题检测的影响;然后,利用该“贡献度”作为空间向量模型(VSM)改进后的参数值计算文档间相似度来提取突发话题,达到提高突发话题检测精准度的目的.提出的基于LDA模型的主题树检测方法从F值比对与人工检测两个角度进行了相关实验,实验数据显示该算法不仅可以检测到突发话题,而且获得的结果与知网模型和TF-IDF算法相比分别高出3％、7％,且更符合人的判断逻辑.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邵良杉	辽宁工程技术大学系统工程研究所	189	1464	18.0	27.0
2	邱云飞	辽宁工程技术大学软件学院	70	620	13.0	22.0
3	郭弥纶	辽宁工程技术大学软件学院	1	12	1.0	1.0