基于深度学习的网页主题爬虫的设计

• 作者: 袁优
• 来源期刊: 课程教育研究
• 学科: 教育
• 关键词: 主题爬虫 深度学习 深度信念网络 向量空间模型 支持向量机
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 考索窑探微
• 页码范围: 218-219
• 页数: 2页
• 分类号: G64
• 字数: 3591字
• 语种: 中文

摘要

网页主题爬虫能够从万维网中寻找从属于特定主题的网页，并对其中的关键词、段落和图像进行保存和索引。但在网页的表达形式、数量和内容都呈现爆发式增长的情况下，传统的基于关键字匹配的网页主题发现方法已经难以有效的为爬虫程序进行准确的主题识别，这对于搜索引擎建立有效的网页内容数据库和网页内容的话题分析等关键应用都是具大的挑战。提出一种基于深度学习的网页主题爬虫的设计，采用深度信念网络对由文字向量表示的网页内容进行概念表达，以此构建多层次的网页主题概念特征向量，并使用支持向量机模型在新的特征表达下对网页主题进行快速识别，有效提升了爬虫程序对网页主题的识别准确率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	袁优		4	3	1.0	1.0