基于LDA模型的博客垃圾评论发现

• 作者: 刁宇峰 杨亮 林鸿飞
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: Blog 博文 LDA 主题 垃圾评论
• 年，卷（期）: 2011,（1）
• 页码范围: 41-47
• 分类号: TP391
• 字数: 7509字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2011.01.007

摘要

Blog(博客)作为一种新兴的网络媒体,在很大程度上增强了互联网的开放性,Blog已经成为互联网上的主要信息源之一,这也使得Blog空间中的垃圾评论成倍增长,因此如何识别垃圾评论成为面临的重要问题.该文首先借鉴处理垃圾邮件的方法,针对Blog本身的特点,使用规则初步过滤垃圾评论,然后对剩余评论,利用LatentDirichlet Allocation(LDA)这种能够提取文本隐含主题的产生式模型,对博客中的博文进行主题提取,并结合主题信息进行判断,从而识别Blog空间的垃圾评论.通过实验验证,该方法可以发现大多数垃圾评论,实验取得了较好的结果,使Blog信息更加准确、有效的为用户使用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林鸿飞	大连理工大学信息检索研究室	214	3759	31.0	55.0
2	杨亮	大连理工大学信息检索研究室	49	510	10.0	22.0
3	刁宇峰	大连理工大学信息检索研究室	4	64	2.0	4.0