面向Web的信息收集工具的设计与开发

• 作者: 常敏 武港山 潘春华
• 来源期刊: 计算机应用研究
• 关键词: 页面收集 信息处理 网络爬虫 万维网(WWW)
• 年，卷（期）: 2002,（6）
• 所属期刊栏目: 网络技术及应用
• 页码范围: 144-147
• 页数: 4页
• 分类号: TP393.4
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2002.06.050

摘要

随着互联网的发展以及网上信息的日益丰富,传统的信息处理已经延伸到互联网领域.在对互联网上的信息进行处理时,常常要将分布在互联网各处的Web页面下载到本地供进一步处理;这便是所讨论的Web页面收集工具的核心功能.该页面收集系统在综合使用Web页面间的链接关系和页面内容的基础上,增加了多层次的页面过滤模块,可用来收集特定领域内的Web页面;同时可采用多机并行收集的方法提高页面收集的效率;采用大型数据库存放元收集信息,并对收集到的页面进行压缩,能够支持海量数据的收集;动态更新机制的实施使得下载到本地的页面信息能够得到及时的更新.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	潘春华	南京大学计算机软件新技术国家重点实验室	4	105	3.0	4.0
5	常敏	南京大学计算机软件新技术国家重点实验室	4	159	4.0	4.0
9	武港山	南京大学计算机软件新技术国家重点实验室	66	1172	20.0	31.0