分布式主题舆情采集与分析系统设计

• 作者: 张文学 董富江
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 分布式 主题舆情 信息采集 开源爬虫
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 软件设计、开发与应用
• 页码范围: 116-119
• 页数: 4页
• 分类号: TP319
• 语种: 中文
• DOI: 10.11907/rjdk.201708

摘要

在大数据和移动互联网的时代背景下,舆情信息的迅猛增长为其采集与分析带来挑战.运用分布式计算技术,有利于对领域海量主题舆情的快速采集与分析.研究主题舆情采集与分析关键技术,包括主题舆情采集技术、领域词典和中文分词,探讨分布式计算环境下的主题舆情采集与舆情数据分析,并利用面向对象的分析与设计方法,基于开源爬虫设计并实现了一个分布式主题舆情采集与分析系统.利用4个爬虫节点进行分布式采集,相比传统采集模式,该系统的平均采集速度提升了2.74倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张文学		23	105	7.0	9.0
2	董富江		14	15	2.0	3.0