基于Scrapy和casperjs的电子商务网站信息采集系统研究

• 作者: 高荣
• 来源期刊: 数字技术与应用
• 学科: 工学
• 关键词: 电子商务 Scrapy casperjs 信息采集
• 年，卷（期）: 2015,（3）
• 所属期刊栏目: 应用研究
• 页码范围: 67-68
• 页数: 2页
• 分类号: TN915
• 字数: 3134字
• 语种: 中文

摘要

针对大数据时代用户对电子商务信息采集与分析的需求，设计并实现了一个高扩展性的基于Scrapy的电商网站信息采集系统，能解决异步数据加载带来的数据采集困难的问题，系统采用了casperjs、redis、graphite等框架和技术进一步增强了对电商内容爬取的适应能力和可扩展性。系统能够工作在云计算环境下，具有非常高的应用价值。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高荣	广西财经学院信息与统计学院	28	43	4.0	5.0