基于Nutch的Web论坛分块采集系统

• 作者: 傅魁 程杜新
• 来源期刊: 图书馆学研究
• 关键词: Nutch Web论坛 信息采集 分块解析
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 信息资源管理
• 页码范围: 56-60
• 页数: 5页
• 语种: 中文

摘要

随着网络论坛用户的不断增长,论坛帖子数量急剧增加,论坛结构不断变化,研究适用于整个Web论坛信息采集解析的定向、自动、准确的采集方法是网络爬虫领域研究的难点.由论坛领域建模、论坛模板解析、论坛板块采集及论坛帖子采集四大模块构成的基于Nutch开源技术的采集系统,将分块解析理论应用于论坛模板解析中,较大提高了采集效率.39健康网数据爬取实例验证了该项技术的可行性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	傅魁		23	72	5.0	7.0
2	程杜新		1	0	0.0	0.0