基于HBase/Spark的教学大数据存储及索引模型研究

• 作者: 唐立 曲金帅 李亚平
• 来源期刊: 云南民族大学学报（自然科学版）
• 学科: 工学
• 关键词: HBase Spark 组合行键
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 大数据与机器学习
• 页码范围: 486-492,507
• 页数: 8页
• 分类号: TP311|G434
• 语种: 中文
• DOI: 10.3969/j.issn.1672-8513.2020.05.013

摘要

为解决海量教学数据的高效处理和管理,提出基于HBase/Spark的教学大数据存储及索引模型设计.先基于组合行键构建HBase表,根据教学Course分类进行预分区,并构建cost评分函数,来检测并迁移负载,达到解决数据存储时写热点和负载均衡的问题.语义解析、组合行键索引查询、Spark并行属性条件过滤实现教学大数据高效查询.实验证明基于HBase/Spark的教学大数据的模型,能够实现更加高效的教学大数据访存管理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐立		2	0	0.0	0.0
2	李亚平		8	8	1.0	2.0
3	曲金帅		1	0	0.0	0.0