云计算环境下基于代表点增量层次密度聚类的微博事件检测及跟踪

• 作者: 冯永 贾东风 韩楠
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 微博 事件检测 密度聚类算法 云计算 Hadoop平台 代表点
• 年，卷（期）: 2013,（12）
• 所属期刊栏目: 人工智能
• 页码范围: 3559-3562,3595
• 页数: 5页
• 分类号: TP391
• 字数: 4003字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2013.12.3559

摘要

为从微博服务平台产生的大量实时信息中抽取新闻事件,提出了一套完整的云计算环境下的微博事件检测跟踪算法.首先采用新的基于微博转发数和评论数的权值计算方法,将微博文本表示成向量空间模型;再利用基于代表点的增量层次密度聚类(RIHDBSCAN)算法抽取关键词,最终实现新闻事件的检测和跟踪.针对单一节点无法快速高效地处理海量微博数据的问题,将算法部署在云计算平台Hadoop上.通过在新浪微博平台上荻取的真实数据进行实验,结果表明,所提出的权值计算方法比TF-IDF和UF-ITUF有更高的性能,并且云框架的使用较好地提高了处理速度,适合用于海量数据的分析和挖掘.