基于Solr的数据检索技术研究

• 作者: 程知群 章超 韩高帅
• 来源期刊: 杭州电子科技大学学报（自然科学版）
• 关键词: 大数据 智能交通 Solr 索引
• 年，卷（期）: 2017,（1）
• 页码范围: 11-15
• 页数: 5页
• 分类号: TP319
• 语种: 中文
• DOI: 10.13954/j.cnki.hdu.2017.01.003

摘要

针对海量过车数据检索困难的问题,设计了一款基于Solr的大规模分布式数据检索系统.前端IPC采集的数据经过结构化处理之后发送到后端,数据先缓存在消息队列中,再通过Spark Streaming实时计算框架对缓存的数据进行消费,将数据搬运到数据库HBase中,最后由Solr爬取HBase中的数据,根据用户的配置建立索引文件.查询时,用户通过点击Web界面下发查询条件,系统将查询条件解析为Solr能够识别的查询语句,从索引文件中取出相应的信息,最后从HBase中取出完整的数据,返回到界面显示.测试结果表明,系统工作稳定,可存储海量多种类型数据,索引建立速度为1 000条/s,当数据库中存储一千亿条过车记录时,对此类TB级别数据进行各种条件查询的响应时间均在10 s之内.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程知群	杭州电子科技大学电子信息学院	54	172	6.0	10.0
2	韩高帅	杭州电子科技大学电子信息学院	2	16	2.0	2.0
3	章超	杭州电子科技大学电子信息学院	4	16	2.0	4.0