基于海量URL数据存取的快速文件系统设计分析

• 作者: 刘烜 卫锋 苏庆华
• 来源期刊: 信息通信
• 学科: 工学
• 关键词: 海量URL web爬虫 爬行策略 系统构建 系统模块
• 年，卷（期）: 2012,（6）
• 所属期刊栏目: 信息工程
• 页码范围: 89-90
• 页数: 2页
• 分类号: TP393.01
• 字数: 3099字
• 语种: 中文

摘要

海量的URL快速文件系统建立的目标就是提供高速的处理机制,此时以高性能的web爬虫为基础的系统可以帮助实现这个目标.为了实现这个快速目标,URL往往将被保存在一个专业数据库中,但数据量的增加会给爬虫技术带来巨大的压力,关系数据库往往不能满足爬虫对海量URL的存储需求.本文所研究的是数据规模增加是如何打破web爬虫的技术瓶颈,从而使得系统获得更加优化的利用效果与速度的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	卫锋		4	0	0.0	0.0
2	刘烜		4	0	0.0	0.0
3	苏庆华		2	0	0.0	0.0