Twitter中近似重复消息的判定方法研究

• 作者: 刘悦 曹鹏 李静远 满彤 程学旗
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 微博客 Twitter 重复消息
• 年，卷（期）: 2011,（1）
• 页码范围: 20-27
• 分类号: TP391
• 字数: 8073字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2011.01.004

摘要

微博客是Web2.0出现以来的一个新生概念.著名的Twitter系统是微博客中具有代表性的一个.其全球用户已经超过1.6亿,在世界范围内具有重要影响力:目前知名政治家、社会名流和大企业几乎都是Twitter的用户.Twitter系统中的消息小于0个字符,而且语法不规范.同时,由于Twitter允许用户以多种格式自由转发消息,系统中存在大量内容重复或近似重复的消息.重复消息的存在加重了系统存储的负担,对用户阅读、理解以及分析消息的内容也造成了不利影响.该文分析了Twitter系统中转发消息的语法特点,并利用这些语法特点提取规则,把转发的消息变成普通消息.该文还提出统计字符种类和最短编辑距离两种字符串距离计算的方法以判定Twitter中近似重复的消息.该文还分析了Twitter消息发送的方式以及不同登录方式的消息特征.实验结果表明,两种方法具有扩展性强、实现简单、效率高等优点,能够有效地检测Twitter上的信息重复现象.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程学旗	中国科学院计算技术研究所网络重点实验室	160	4858	31.0	67.0
2	刘悦	中国科学院计算技术研究所网络重点实验室	56	565	12.0	22.0
3	曹鹏	中国科学院计算技术研究所网络重点实验室	12	112	4.0	10.0
7	李静远	中国科学院计算技术研究所网络重点实验室	5	66	3.0	5.0
8	满彤	中国科学院计算技术研究所网络重点实验室	2	53	2.0	2.0