基于Spark的城市居民出行时空特征快速提取

• 作者: 卢万杰 吕亮 张杰 徐青 施群山 赵英豪
• 来源期刊: 测绘科学技术学报
• 学科: 地球科学
• 关键词: 出租车轨迹 居民出行 时空特征 大数据处理框架 分布式计算
• 年，卷（期）: 2018,（6）
• 页码范围: 609-615
• 页数: 7页
• 分类号: P208
• 字数: 4450字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-6338.2018.06.012

摘要

利用交通轨迹挖掘人类活动规律是实现智慧城市与生活的基础,然而常规方法已无法满足高效处理的大数据量要求.以海量出租车轨迹数据分析为例,设计了基于Spark平台的城市居民出行时空特征快速提取方法.借助Spark分布式计算框架,将核心算子匹配应用于二次排序、数据清洗及O/D点提取等预处理工作,并在时间分割和网格剖分统计的基础上完成时空特征提取.利用2014年8月份成都市出租车轨迹数据开展实验验证,结果表明,相较于传统单机环境,在确保准确性的基础上,该方法能够大幅提高特征提取的效率;集群节点一定时,数据规模越大优势越明显;数据规模足够大时,Spark集群节点数量越多,耗时越少.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐青		167	1161	18.0	23.0
2	施群山		23	63	4.0	6.0
3	卢万杰		7	10	2.0	3.0
4	吕亮		17	29	3.0	4.0
5	赵英豪		3	1	1.0	1.0