基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
随着大数据技术的不断发展,数据分析越来越受到人们的关注,Spark作为大规模数据处理的快速通用的计算引擎,由于它的高速性而被各大商家应用于实际生产过程中。本文通过隐马尔科夫模型(HMM),选择在实际生产过程中,在进行海量的数据分析过程中出现的异常进行分析,以实际任务执行时的:内存溢出、垃圾回收异常、序列化异常为指标,根据实际出现异常时的提示,来确定HMM状态空间、确定相应的观测值、计算相关的参数,进而构建针对于Spark作业工作过程中的出现异常时的隐马尔科夫模型,用来揭示引发异常的类型,来对实际生产过程中出现此类问题时提供可靠的类型诊断。
推荐文章
基于离散隐马尔科夫模型的语音识别技术
语音识别
隐马尔科夫模型
动态时间规整
人工神经网络
基于不同隐马尔科夫模型的图像识别方法
隐马尔科夫模型
E-HMM
图像识别
指纹识别
基于改进隐马尔科夫模型的鲁棒用户行为识别
隐马尔科夫模型
遗传算法
Baum-Welch算法
用户行为识别
基于时变状态转移隐半马尔科夫模型的寿命预测
时变状态转移概率
隐半马尔科夫模型
状态估计
寿命预测
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于隐马尔科夫模型的spark作业异常分析
来源期刊 电脑知识与技术:学术交流 学科 工学
关键词 SPARK 隐马尔科夫模型 内存溢出 异常 内存管理
年,卷(期) 2018,(4Z) 所属期刊栏目
研究方向 页码范围 198-200
页数 3页 分类号 TP311.13
字数 语种
DOI
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 周云才 34 53 4.0 5.0
2 王欣 4 1 1.0 1.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (0)
共引文献  (0)
参考文献  (0)
节点文献
引证文献  (0)
同被引文献  (0)
二级引证文献  (0)
2018(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
研究主题发展历程
节点文献
SPARK
隐马尔科夫模型
内存溢出
异常
内存管理
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
电脑知识与技术:学术版
旬刊
1009-3044
34-1205/TP
安徽合肥市濉溪路333号
26-188
出版文献量(篇)
41621
总下载数(次)
23
总被引数(次)
0
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
电脑知识与技术:学术版2018年第9Z期 电脑知识与技术:学术版2018年第9X期 电脑知识与技术:学术版2018年第9期 电脑知识与技术:学术版2018年第8X期 电脑知识与技术:学术版2018年第8期 电脑知识与技术:学术版2018年第7Z期 电脑知识与技术:学术版2018年第7X期 电脑知识与技术:学术版2018年第7期 电脑知识与技术:学术版2018年第6Z期 电脑知识与技术:学术版2018年第6X期 电脑知识与技术:学术版2018年第6期 电脑知识与技术:学术版2018年第5Z期 电脑知识与技术:学术版2018年第5X期 电脑知识与技术:学术版2018年第5期 电脑知识与技术:学术版2018年第4Z期 电脑知识与技术:学术版2018年第4X期 电脑知识与技术:学术版2018年第4期 电脑知识与技术:学术版2018年第3Z期 电脑知识与技术:学术版2018年第3X期 电脑知识与技术:学术版2018年第3期 电脑知识与技术:学术版2018年第2Z期 电脑知识与技术:学术版2018年第2X期 电脑知识与技术:学术版2018年第2期 电脑知识与技术:学术版2018年第1Z期 电脑知识与技术:学术版2018年第1X期 电脑知识与技术:学术版2018年第12Z期 电脑知识与技术:学术版2018年第12X期 电脑知识与技术:学术版2018年第12期 电脑知识与技术:学术版2018年第11Z期 电脑知识与技术:学术版2018年第11X期 电脑知识与技术:学术版2018年第11期 电脑知识与技术:学术版2018年第10Z期 电脑知识与技术:学术版2018年第10X期 电脑知识与技术:学术版2018年第10期 电脑知识与技术:学术版2018年第1期
论文1v1指导