Web论坛数据源增量爬虫的研究

• 作者: 崔志明 蔡欣宝 赵朋朋 郭若飞
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Web论坛 增量爬虫 站点地图 泊松模型
• 年，卷（期）: 2010,（9）
• 所属期刊栏目: 开发研究与设计技术
• 页码范围: 285-287
• 分类号: TP311.52
• 字数: 4080字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2010.09.101

摘要

针对Web论坛站点结构复杂、内容更新快等特点,提出一种针对论坛的增量信息采集算法,使用站点地图重建技术及网页更新频繁度估计方法,根据站点地图选择有效的链接,按照网页更新频度确定网页的采集频度.实验结果表明,该方法是有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔志明	苏州大学智能信息处理及应用研究所	169	2304	25.0	38.0
2	赵朋朋	苏州大学智能信息处理及应用研究所	39	426	11.0	19.0
3	蔡欣宝	苏州大学智能信息处理及应用研究所	6	42	3.0	6.0
4	郭若飞	苏州大学智能信息处理及应用研究所	3	19	2.0	3.0