基于扩展主题特征库的领域主题爬虫

• 作者: 吴岳廷 李石君
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 主题特征库 网页过滤 标签块 相关性 语义
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 开发与应用
• 页码范围: 1342-1347
• 页数: 6页
• 分类号: TP311.52
• 字数: 7060字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2015.05.044

摘要

在领域主题爬虫中，为提高网页爬取的效率和准确性，将扩展主题特征库（extended topic feature library，ETFL）引入进爬虫的网页过滤算法中。将网页抽象为标签块节点集，通过主题特征库扩展算法对静态特征项进行扩充生成扩展主题特征库，利用网页主题特征项提取算法从页面中抽取出特征项，在爬虫抓取网页的过程中，通过基于扩展主题特征库的网页相关性判断方法对页面进行过滤。该算法弥补了传统的基于静态关键词项的网页过滤算法对页面语义层次处理的缺失。实际项目运行结果表明，在领域主题爬虫中引入扩展主题库能够有效提高网页抓取精度，具有较高可用性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李石君	武汉大学计算机学院	88	753	16.0	22.0
2	吴岳廷	武汉大学计算机学院	1	4	1.0	1.0