大规模数据库中非显著特征动态 数据实时挖掘技术

• 作者: 聂捷楠
• 来源期刊: 科学技术与工程
• 学科: 工学
• 关键词: Hadoop 分布式架构 非显著性特征 数据 实时挖掘
• 年，卷（期）: 2018,（21）
• 所属期刊栏目: 自动化技术、计算机技术
• 页码范围: 252-257
• 页数: 6页
• 分类号: TP311.12
• 字数: 4151字
• 语种: 中文

摘要

从大规模数据库中挖掘非显著性特征数据时,容易产生大量数据通信和中间数据,存在大量交集操作,影响挖掘实时性.为此,提出一种新的基于Hadoop分布式架构的非显著性特征数据实时挖掘方法.对数据显著度进行检测,提取非显著性特征;搭建Hadoop分布式架构硬件结构,按照非显著性特征数据挖掘的特性和功能,建立Hadoop分布式架构非显著性特征数据挖掘软件架构;包括交互层、应用层、非显著性特征数据挖掘层和分布式计算层.把大数据集分割为若干数据块,将数据块分配至所有计算节点,依据非显著性特征进行并行计算,将map阶段的本地输出结果合并在一起,降低节点间数据交换量.通过reduce函数把所有计算节点的临时文件合并为垂直项集,求出项支持度.当无更多频繁项集的数据输出时,即可得到非显著性特征数据.实验结果表明,所提方法挖掘结果可靠,实时性强.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	聂捷楠	成都医学院人文信息管理学院	9	40	3.0	6.0