基于采样的在线大图数据收集和更新

• 作者: 尹子都 岳昆 张彬彬 李劲
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 在线大图 数据收集 数据更新 并行爬虫 Spark
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 数据库技术
• 页码范围: 3540-3558
• 页数: 19页
• 分类号: TP311
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005843

摘要

互联网中,以网页、社交媒体和知识库等为载体呈现的大量非结构化数据可表示为在线大图.在线大图数据的获取包括数据收集和更新,是大数据分析与知识工程的重要基础,但面临着数据量大、分布广、异构和变化快速等挑战.基于采样技术,提出并行、自适应的在线大图数据收集和更新方法.首先,将分支限界方法与半蒙特卡罗采样技术相结合,提出能够自适应地收集在线大图数据的HD-QMC算法;然后,为了使收集的数据能反映实际中在线大图的动态变化,进一步基于信息熵及泊松过程,提出高效更新在线大图数据的EPP算法.从理论上分析了该算法的有效性,并将获取的各类在线大图数据统一表示为RDF三元组的形式,为在线大图数据分析及相关研究提供方便易用的数据基础.基于Spark实现了在线大图数据的收集和更新算法,人工生成数据和真实数据上的实验结果展示了该方法的有效性和高效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	岳昆		77	317	10.0	13.0
2	李劲		17	91	5.0	9.0
3	尹子都		5	12	2.0	3.0
4	张彬彬		8	15	3.0	3.0