基于爬虫和网站分类的主题信息源发现方法

• 作者: 武刚 邓厚平
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 网站主题 特征描述 分类 爬虫 信息源发现
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 59-65
• 页数: 7页
• 分类号: TP391
• 字数: 7677字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1402-0062

摘要

如何发现主题信息源是主题We b信息整合的前提.提出了一种主题信息源发现方法,将主题信息源发现转化为网站主题分类问题,并利用站外链接发现新的信息源.从网站中提取出能反映网站主题的内容特征词和结构特征词,建立描述网站主题的改进的向量空间模型.以该模型为基础,通过类中心向量法与SVM相结合对网站主题进行分类.提出一种能尽量少爬取网页的网络搜索策略,在发现站外链接的同时爬取最能代表网站主题的页面.将该主题信息源发现方法应用于林业商务信息源,通过实验验证了该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	武刚	北京林业大学信息学院	34	438	9.0	20.0
2	邓厚平	北京林业大学信息学院	2	11	2.0	2.0