基于众包的社交网络数据采集模型设计与实现

• 作者: 周旭 李海波 杜然 程耀东 胡庆宝 高梦超
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 社交网络 众包模式 分布式计算 信息采集 Web爬虫 Hadoop分布式文件系统
• 年，卷（期）: 2015,（4）
• 所属期刊栏目: ?先进计算与数据处理?
• 页码范围: 36-40
• 页数: 5页
• 分类号: TP311
• 字数: 4170字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2015.04.007

摘要

社交网络数据信息量大、主题性强，具有巨大的数据挖掘价值，是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状，基于众包模式，采用C/S架构，设计社交网络数据采集模型，包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题Deep Web爬虫的分布式机器节点自动向服务器请求爬虫任务并上传爬取数据，利用Hadoop分布式文件系统对爬取数据进行快速处理并存储结果数据。实验结果表明，主题Deep Web爬虫系统配置简单，支持功能扩展和目标信息直接获取，数据采集模型具有较快的数据获取速度及较高的信息检索效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李海波	中国科学院高能物理研究所计算中心	201	4673	35.0	59.0
2	周旭	中国科学院声学研究所	62	377	11.0	16.0
3	程耀东	中国科学院高能物理研究所计算中心	52	322	10.0	14.0
4	高梦超	四川大学计算机学院	4	77	3.0	4.0
6	杜然	中国科学院高能物理研究所计算中心	11	55	5.0	7.0
7	胡庆宝	中国科学院高能物理研究所计算中心	7	55	4.0	7.0