基于HMM的主题爬虫研究

• 作者: 宋静静 李稚楹 杨武 谢治军
• 来源期刊: 重庆工商大学学报：自然科学版
• 学科: 工学
• 关键词: 主题爬虫 隐马尔科夫模型 向量空间模型 主题相关度 垂直搜索引擎
• 年，卷（期）: 2012,（2）
• 所属期刊栏目: 信息科学
• 页码范围: 66-72
• 分类号: TP391
• 字数: 2521字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-058X.2012.02.016

摘要

主题爬虫是垂直搜索引擎的核心组成部分，它为面向主题的用户查询准备数据资源；提出了一种基于HMM的主题爬虫方法，方法不仅分析网页内容，而且还考虑网页的上下文链接结构，首先将当前网页的聚类结果作为观察状态、将当前网页到目标网页的链接距离作为隐含状态，然后通过HMM模型学习用户的主题浏览模式并利用它采集更多的主题网页；实验结果表明：方法能采集大量与指定主题相关的高质量网页，主题爬行效率优于Best-First主题爬虫。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨武	重庆理工大学信息与教育技术中心	27	175	6.0	12.0
2	宋静静	重庆理工大学计算机科学与工程学院	2	55	2.0	2.0
3	谢治军	重庆理工大学计算机科学与工程学院	1	2	1.0	1.0
4	李稚楹	重庆理工大学计算机科学与工程学院	1	2	1.0	1.0