面向大规模数据的在线新事件检测

• 作者: 蒋锐权 蔡偃武 阮彤 高大启
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 新事件检测 单路径聚类 大规模数据 并行计算 倒排索引 MapReduce架构
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: ?先进计算与数据处理?
• 页码范围: 37-42
• 页数: 6页
• 分类号: TP391
• 字数: 6749字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.10.008

摘要

通过分析基于新闻要素的在线新事件检测算法的时间消耗，提出一种面向大规模数据环境的在线新事件检测算法。该算法利用基于倒排索引的高效相似报道搜索机制，有效减少单路径聚类算法中的相似度比较次数。通过对报道预处理、报道与事件比较以及索引搜索这3个过程的并行化，提高算法在多机环境下的运行效率和可伸缩性。实验结果表明，该算法在不影响漏检率和误检率的基础上，提高了新事件检测的速度，并且在千万到亿级别的报道规模下，其吞吐量达到150条/s~200条/s。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高大启	华东理工大学计算机科学与工程系	39	472	11.0	21.0
2	阮彤	华东理工大学计算机科学与工程系	37	200	7.0	12.0
3	蔡偃武	华东理工大学计算机科学与工程系	1	7	1.0	1.0
4	蒋锐权	上海证券交易所技术开发部	3	42	3.0	3.0