新闻数据流的在线事件检测

• 作者: 卜佳俊 张成 王灿 陈伟 陈宏 陈纯
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 在线事件检测 进化谱聚类 假设检验 新闻数据流
• 年，卷（期）: 2011,（6）
• 所属期刊栏目: 自动化技术、计算机技术
• 页码范围: 1006-1012
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2011.06.007

摘要

针对新闻数据流事件检测算法在实时性、准确率等方面存在的问题,提出一种面向新闻数据流的在线事件检测方法.事件的发生往往伴随着构成该事件的特征(即关键词)在相应时间段内出现的频率明显上升,将这些特征称为突发特征.运用分布拟合检验检测构成新闻数据流的特征在某一时间段内新闻报道中出现频率的分布是否发生明显变化,并进一步利用左边检验确认该时间段内的所有突发特征.分析突发特征的相关性,采用进化谱聚类算法将相关性较高的突发特征聚类在一起构成事件.在路透社新闻数据集第一卷上应用了本算法,验证了该方法能够有效地发现突发特征,并实时地检测出发生的事件,检测出的事件同实际事件有很高的符合度.