分布式全网职位搜索引擎的研究与实现

• 作者: 付剑生 徐林龙 林文斌
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Solrcloud 职位搜索 网络爬虫 分布式搜索引擎
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 6-9
• 页数: 4页
• 分类号: TP39
• 字数: 2363字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2015.05.002

摘要

传统招聘网站所查寻的信息仅限于站内搜索,而且每个招聘网站往往都会有重复的招聘信息,导致重复投递,对求职者和招聘者都造成了资源浪费。文中研究和分析了基于Lucene的分布式全文搜索引擎Solrcloud,设计了全网职位搜索引擎系统。该系统采用Bloom Filter进行数据及URL的去重,通过使用Zookeeper提供分布式同步服务,并通过多线程来实现网页并发抓取。通过对系统的测试表明,该系统具有良好的可靠性和应用性,并在大数据量的情况下保证了搜索的效率及准确性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林文斌	西南交通大学物理科学与技术学院	31	110	5.0	8.0
2	付剑生	西南交通大学物理科学与技术学院	4	15	2.0	3.0
3	徐林龙	西南交通大学数学学院	2	13	2.0	2.0