面向新闻网的智能抓取技术

• 作者: 吕振辽 翟莹莹 魏彦婧
• 来源期刊: 控制工程
• 学科: 工学
• 关键词: 主题提取 网络爬虫 页面相关度
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 智能控制技术及应用
• 页码范围: 707-710
• 页数: 4页
• 分类号: TP27
• 字数: 4680字
• 语种: 中文

摘要

随着新闻网信息的急剧增加,研究面向新闻网的智能抓取技术变得十分必要.在基于主题网络爬虫的基础上,改进了网页与主题的相关度算法,设计出面向新闻网的智能抓取技术.按照预先确定的主题,分析超链接和刚刚抓取的网页内容,获取下一个要爬行的URL.有选择的访问新闻网上的网页和相关的链接,尽可能保证多爬行与主题相关的网页.实验结果表明,改进后的抓取技术比以往的新闻网抓取技术在性能上有较大提升,抓取准确率显著提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吕振辽	东北大学计算中心	13	45	4.0	6.0
2	翟莹莹	东北大学计算中心	9	39	3.0	6.0
3	魏彦婧	东北大学计算中心	1	2	1.0	1.0