面向分层结构的网页分类与抓取

• 作者: 唐远华 王振宇 郭力
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 网络爬虫 网页分类 领域知识库 知网
• 年，卷（期）: 2012,（11）
• 所属期刊栏目: 计算机网络与信息安全
• 页码范围: 1-6
• 页数: 6页
• 分类号: TP391
• 字数: 5446字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2012.11.001

摘要

传统网络爬虫为基于关键字检索的通用搜索引擎服务,无法抓取网页类别信息,给文本聚类和话题检测带来计算效率和准确度问题.本文提出基于站点分层结构的网页分类与抽取,通过构建虚拟站点层次分类树并抽取真实站点分层结构,设计并实现了面向分层结构的网页抓取；对于无分类信息的站点,给出了基于标题的网页分类技术,包括领域知识库构建和基于《知网》的词语语义相似度计算.实验结果表明,该方法具有良好的分类效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王振宇	华南理工大学软件学院	23	354	8.0	18.0
2	唐远华	华南理工大学软件学院	2	17	2.0	2.0
3	郭力	华南理工大学计算机科学与工程学院	16	193	7.0	13.0