基于分布式平台Spark的空间文本查询分析

• 作者: 徐阳 王志杰 钱诗友
• 来源期刊: 华东师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 分布式计算 空间文本分析 相似连接
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 新型互联网应用技术
• 页码范围: 120-134,153
• 页数: 16页
• 分类号: TP311
• 字数: 11929字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5641.2018.05.010

摘要

随着基于位置服务应用的不断推广,空间文本数据查询的应用价值(例如结合地理位置和用户标签的社交推荐)也在不断提高.但是,随着数据规模的迅速增长,传统的基于单机环境实现的技术难以为用户提供低延时和高吞吐量的服务.为此,本文基于Spark平台对分布式环境下的空间文本查询算法进行了探究.采用了面向海量空间文本数据的两层索引框架(包括全局索引和局部索引),该框架利用了分阶段过滤的策略来处理分布式下的布尔范围查询问题.同时,针对空间文本相似连接提出了Prefix-RI结构并提出了相应的分布式算法.基于Spark平台实现了所提出的分布式算法,并通过大量的实验对比验证了所提出方法的优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐阳	上海交通大学计算机科学与工程系	7	16	3.0	4.0
2	王志杰	中山大学数据科学与计算机学院	2	3	1.0	1.0
3	钱诗友	上海交通大学计算机科学与工程系	4	2	1.0	1.0