大规模短文本的快速话题发现方法与评价研究

• 作者: 张慧 张梦 韩忠明 黄今慧
• 来源期刊: 计算机应用研究
• 关键词: 短文本 话题发现 词共现 社团发现
• 年，卷（期）: 2015,（3）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 717-722,739
• 页数: 7页
• 分类号: TP391.43
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2015.03.018

摘要

传统的话题发现研究主要针对于长文本及新闻数据集,大规模短文本具有稀疏、无结构、多噪等特点,传统方法很难有效发现话题.提出了一个融合词共现与加权GN (CW-WGN)算法的快速话题发现方法,描述了CW-WGN方法的详细过程,给出方法的具体算法.采集了sina微博、新闻网站的标题真实的短文本数据,构建了基础测试数据集,采用LDA与K-means方法作为对比进行了大量对比实验.实验结果表明CW-WGN比LDA和K-means方法能够多发现20％以上的正确话题,而且发现的话题纯度也高于LDA与K-means.此外,CW-WGN消耗的时间最少,能够有效地从实际大规模短文本上发现话题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩忠明	北京工商大学计算机与信息工程学院	51	631	14.0	23.0
2	黄今慧	北京工商大学计算机与信息工程学院	25	104	4.0	10.0
3	张慧	北京工商大学计算机与信息工程学院	18	260	7.0	16.0
4	张梦	北京工商大学计算机与信息工程学院	4	31	3.0	4.0