Web新闻自动采集发布系统的设计与实现

• 作者: 伍小芹 康耀红 张春元
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 网络爬虫 网页去噪 文档消重 Web新闻发布
• 年，卷（期）: 2009,（9）
• 所属期刊栏目: 应用开发研究
• 页码范围: 250-封3
• 页数: 4页
• 分类号: TP391.3
• 字数: 3456字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2009.09.068

摘要

针对新闻网站通过人工方式采集发布来自其它网站的Web新闻费时费力、易重采与漏采这一同题,综合运用Web信息采集技术、网页去噪技术、文本文档消重技术以及文本自动分类技术设计并实现了一种基于网络爬虫的Web新闻自动采集发布系统.在给出系统总体结构的基础上,对其各个模块的功能、设计与实现方法进行了详细介绍.实验表明,该系统设计合理,具有采集效率高、消重准确、集成方便、运行费用低等优点,可作为新闻网站的采编工具加以推广使用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	康耀红	海南大学信息科学技术学院	61	512	14.0	18.0
2	张春元	海南大学信息科学技术学院	19	98	6.0	9.0
3	伍小芹	海南大学信息科学技术学院	24	200	7.0	13.0