一种基于Storm的在线产品评论信息采集的方法

• 作者: 温雯 蔡瑞初 袁琴 郝志峰 骆魁永
• 来源期刊: 广东工业大学学报
• 学科: 工学
• 关键词: 产品评论信息 Storm 适应性 增量采集
• 年，卷（期）: 2017,（3）
• 页码范围: 83-88
• 页数: 6页
• 分类号: TP391
• 字数: 4314字
• 语种: 中文
• DOI: 10.12052/gdutxb.170042

摘要

针对如何尽早地获取电商网站中产品的评论信息,进而实时地把握产品舆情,提出了一种基于Storm的在线产品评论信息采集方法.该方法将流计算的概念应用于网络爬虫中,并通过SHHD算法对采集周期进行动态调整.实验结果表明:基于Storm平台进行信息采集具有吞吐量大、可扩展性强等优点;SHHD算法可以有效地降低采集系统对网络带宽和系统资源的消耗,实现了适应性的增量的在线产品评论信息采集过程;SHHD在产品的评论信息获取的滞后时间上较Poisson、SART等方法具有明显的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郝志峰	广东工业大学计算机学院	166	940	14.0	20.0
2	蔡瑞初	广东工业大学计算机学院	66	279	10.0	13.0
3	温雯	广东工业大学计算机学院	48	272	10.0	14.0
4	袁琴	广东工业大学计算机学院	2	4	1.0	2.0
5	骆魁永	广东工业大学计算机学院	2	4	1.0	2.0