行业动态信息采集系统关键问题解决方案

• 作者: 干佳林 杨鼎 王居远 胡森勇 蔡永香 黎柯
• 来源期刊: 测绘科学
• 学科: 地球科学
• 关键词: Heritrix和Lucene 信息爬取 网页清洗 全文检索
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 应用研究
• 页码范围: 161-166
• 页数: 6页
• 分类号: P208
• 语种: 中文
• DOI: 10.16251/j.cnki.1009-2307.2016.03.032

摘要

为了解决行业动态信息采集系统中网页定向爬取、网页清洗、信息检索等关键问题,文章提出一套基于Heritrix、Jsoup和Lucene的解决方案,并以测绘地理动态信息系统为例进行验证,结果证明该方法能够较好完成测绘地理信息的定向爬取,实现对不同风格网站网页的清洗,并建立索引提供信息检索机制,给测绘行业人士提供准确可靠的信息服务,为相关研究提供参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡永香	长江大学地球科学学院	49	228	6.0	14.0
2	干佳林	长江大学地球科学学院	3	6	2.0	2.0
3	黎柯	长江大学地球科学学院	1	3	1.0	1.0
4	王居远	长江大学地球科学学院	1	3	1.0	1.0
5	杨鼎	长江大学地球科学学院	1	3	1.0	1.0
6	胡森勇	长江大学地球科学学院	1	3	1.0	1.0