高效率WWW信息采集

• 作者: 王曦东 王鼎兴 田范江
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 资源受限的信息采集 WWW应用
• 年，卷（期）: 2001,（1）
• 页码范围: 33-40
• 页数: 8页
• 分类号: TP393
• 字数: 3180字
• 语种: 中文

摘要

随着WWW上的信息日益丰富，对高效率信息采集(IG)工具的需求日益迫切.由于网络资源非常 昂贵，因此，信息采集属于资源受限型任务.主要目标是设计面向特定领域的高效率信息采 集方法.提出了在不下载页面的情况下推测页面内容的方法，设计了不同的控制策略，并定 义了多种页面下载优先级定量指标，建造了一个信息采集系统——TH-Gatherer，并进行了 不同的实验以检验此方法.实验证明，可以在不实际下载页面的情况下，近似推测出候选页 面的内容，采用混合尺度的基于优先级的采集方法，在采集效率方面比当前许多信息采集工 具(包括Crawler和离线浏览工具)常用的宽度优先方法高4倍以上.实验结果表明，所设计的 获取方法在获取效率方面比当前常用的宽度优先方法高4倍以上.此方法适用于资源受限条件 下、特定领域的信息采集.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	田范江	清华大学计算机科学与技术系	3	111	3.0	3.0
2	王鼎兴	清华大学计算机科学与技术系	30	349	11.0	17.0
3	王曦东	清华大学计算机科学与技术系	1	25	1.0	1.0