基于上下文相似度矩阵的Single-Pass短文本聚类

• 作者: 方明哲 李建江 王铮 黄建一
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 在线社交网络 短文本序列 文本聚类 分布式处理
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 大数据与数据科学
• 页码范围: 50-56
• 页数: 7页
• 分类号: TP391
• 字数: 6600字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2019.04.008

摘要

在线社交网络已经成为人们信息交流的重要渠道和载体,形成了与现实世界交互影响的虚拟社会.众多的网络事件通过社交网络进行快速传播,可以在短时间内成为舆论热点,而负面事件会对国家安全和社会稳定造成冲击,从而引发一系列的社会问题.因此,挖掘社交网络中蕴含的热点信息,无论是从舆论监督方面还是舆情预警方面都具有重要的意义.文本聚类是挖掘热点信息的一种重要方法,然而,使用传统长文本聚类算法处理海量短文本时准确率将变低,复杂度急剧增长,从而导致耗时过长;现有的短文本聚类算法的准确率偏低、耗时过长.文中基于文本关键词,提出了结合上下文和相似度矩阵的关联模型,从而判断当前文本与上一文本的关联性.此外,根据该关联模型对文本关键词权重进行调整,以进一步降低噪声.最后,在Hadoop平台上实现了分布式的短文本聚类算法.与K-MEANS,SP-NN,SP-WC算法的比较实验验证了所提算法在话题挖掘速度、准确率和召回率等方面都具有更好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄建一	北京科技大学计算机与通信工程学院	4	20	2.0	4.0
2	李建江	北京科技大学计算机与通信工程学院	26	493	6.0	22.0
3	王铮	北京科技大学计算机与通信工程学院	1	2	1.0	1.0
4	方明哲	北京科技大学计算机与通信工程学院	4	39	2.0	4.0