Twitter中重复消息的分析和处理

• 作者: 单既喜 徐凯 李阳 沙瀛 王晓岩
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 推特 微博 Simhash 短文本去重
• 年，卷（期）: 2014,（21）
• 所属期刊栏目: 网络、通信、安全
• 页码范围: 111-115
• 页数: 5页
• 分类号: TP391.1
• 字数: 5126字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1212-0115

摘要

Twitter已经成为微博中的代表性应用，但是通过分析发现twitter上的消息（推文）有很多完全一致或相似，这对后续对推文的分析和存储都带来很大的问题。为了处理这些内容完全一致或相似的消息（推文），针对推文特有的短文本的特点，基于规则处理完全一致的推文，采用simhash的方法来处理相似性的推文。实验采用实际抓取的240万条推文数据进行分析和处理，分别对中文和英文的推文重复情况进行了分析，实验结果发现重复的推文占总推文的10%左右。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沙瀛	中国科学院信息工程研究所	14	118	6.0	10.0
2	徐凯	江西农业大学计算机与信息工程学院	10	41	4.0	6.0
4	李阳	中国科学院计算技术研究所	52	232	8.0	14.0
7	王晓岩	中国科学院信息工程研究所	3	9	2.0	3.0
8	单既喜	中国科学院信息工程研究所	1	2	1.0	1.0