面向Web论坛的网络信息获取技术及系统实现

• 作者: 彭冬 蔡皖东
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 网络爬虫 Web论坛 正文提取 主题相关度
• 年，卷（期）: 2011,（1）
• 页码范围: 157-160
• 页数: 4页
• 分类号: TP393
• 字数: 2855字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2011.01.030

摘要

网络爬虫技术是网络信息获取的重要手段,面向Web论坛的信息获取则是网络爬虫技术所面临的新课题.在分析和研究面向Web论坛信息获取技术的基础上,本文设计和实现了一种用于Web论坛信息获取的主题网络爬虫系统,根据Web论坛信息组织结构,提出了基于遍历策略的信息搜索技术;根据正文信息分布及论坛自身特点,提出了基于DOM与分块算法相结合的正文提取技术.实验结果表明,遍历策略比传统的网络爬虫遍历策略具有更高的效率,能够采集到更多主题相关度高的网页;经过噪声清洗处理后,有效提取网页正文,提高了信息采集精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡皖东	西北工业大学计算机学院	157	1423	21.0	28.0
2	彭冬	西北工业大学计算机学院	5	27	2.0	5.0