基于Hadoop的网络舆情监控平台设计与实现

• 作者: 于俊凤 朱世伟 李晨 杨子江
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop MapReduce 舆情监控 文本聚类 热点发现 话题跟踪
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 应用开发研究
• 页码范围: 144-149
• 页数: 6页
• 分类号: TP311.1
• 字数: 5767字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.02.033

摘要

文中设计并实现了一种基于Hadoop的网络舆情监控系统。该系统以HDFS作为底层存储系统，在其上构建基于HBase的分布式数据库对舆情信息进行统一存储管理。首先利用基于MapReduce的分布式网络爬虫进行数据抓取，以解决单机爬虫效率低、可扩展性差等问题；其次采用Canopy结合K-means的二次聚类算法，克服单一K-means聚类算法的不足，以提高文本聚类的效率和准确度；最后实现基于查询的话题追踪策略，对热点话题进行有效跟踪分析。仿真实验表明：Canopy-Kmeans聚类方法比传统K-means方法漏报率、误报率分别降低1.24%、0.09%，最小标准代价降低1.681%。系统通过提供可视化舆情分析报告，为企业或单位及时掌握舆情热点、制定舆情策略提供科学、系统的技术支持。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于俊凤	山东省科学院情报研究所	25	70	4.0	7.0
2	朱世伟	山东省科学院情报研究所	26	148	7.0	11.0
3	杨子江	山东省科学院情报研究所	3	29	2.0	3.0
4	李晨	山东省科学院情报研究所	4	35	3.0	4.0