基于MapReduce虚拟机的Deep Web数据源发现方法

• 作者: 崔志明 张广铭 赵朋朋 辛洁 鲜学丰
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 数据源发现 MapReduce Deep Web 虚拟化技术 云计算
• 年，卷（期）: 2011,（7）
• 所属期刊栏目: 云计算应用
• 页码范围: 189-195
• 分类号: TP393
• 字数: 5325字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-436X.2011.07.022

摘要

为了提高Deep Web爬虫发现和搜集数据源的效率,提出了一种融合MapReduce和虚拟化技术实现DeepWeb海量数据挖掘的并行计算方法.基于MapReduce架构提出了一个Deep Web爬虫模型,通过链接过滤分类、页面过滤分类、表单过滤分类等3个MapReduce过程找到Deep Web数据源接口,并利用虚拟机构建单机集群进行性能测试.实验结果显示该方法可以实现大规模数据的并行处理,有效提高爬虫数据源发现的效率,避免网络及物理资源的浪费,验证了云计算技术在Deep Web数据挖掘方面的可行性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔志明	苏州大学智能信息处理及应用研究所	169	2304	25.0	38.0
2	赵朋朋	苏州大学智能信息处理及应用研究所	39	426	11.0	19.0
3	鲜学丰	苏州大学智能信息处理及应用研究所	5	34	4.0	5.0
4	辛洁	苏州大学智能信息处理及应用研究所	17	50	4.0	6.0
5	张广铭	苏州大学智能信息处理及应用研究所	1	12	1.0	1.0