基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
民航信息系统日志包含大量信息,但由于日志数据非结构化,不易被读取且数据量巨大,难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于 Hadoop 的民航日志分析系统,系统结合数据挖掘领域经典的 KNN 分类算法,对算法进行了并行化改进,给出算法在 Hadoop 平台的 MapRe-duce编程模型上的执行流程。对系统进行单机和集群测试,集群系统在处理较大规模数据时更高效。实验结果证明,系统具有较高的执行效率和可扩展性,对民航日志分析具有较高的实用价值。
推荐文章
基于Hive的海量搜索日志分析系统研究
Hadoop
MapReduce
HQL语言
Web日志
搜索引擎
用户行为分析
基于Hadoop的网络日志挖掘方案的设计
网络日志
数据挖掘
数据清洗
Hadoop
MySQL
基于大数据技术的网络日志分析系统研究
大数据
日志采集
MapReduce
日志分析
IP统计
基于SQL-on-Hadoop的网络日志分析
日志分析
大数据
Hadoop
SQL
网络安全
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于Hadoop的民航日志分析系统及应用
来源期刊 软件导刊 学科 工学
关键词 日志分析 Hadoop KNN算法 并行计算 MapReduce
年,卷(期) 2017,(1) 所属期刊栏目 应用技术与研究
研究方向 页码范围 100-103
页数 4页 分类号 TP319
字数 3966字 语种 中文
DOI 10.11907/rjdk.162386
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 李建 西南石油大学计算机科学与技术学院 47 347 10.0 17.0
2 曾新励 西南石油大学计算机科学与技术学院 1 0 0.0 0.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (4)
共引文献  (18)
参考文献  (5)
节点文献
引证文献  (0)
同被引文献  (0)
二级引证文献  (0)
1967(1)
  • 参考文献(1)
  • 二级参考文献(0)
2003(2)
  • 参考文献(0)
  • 二级参考文献(2)
2005(2)
  • 参考文献(0)
  • 二级参考文献(2)
2007(1)
  • 参考文献(1)
  • 二级参考文献(0)
2009(1)
  • 参考文献(1)
  • 二级参考文献(0)
2010(1)
  • 参考文献(1)
  • 二级参考文献(0)
2013(1)
  • 参考文献(1)
  • 二级参考文献(0)
2017(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
研究主题发展历程
节点文献
日志分析
Hadoop
KNN算法
并行计算
MapReduce
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
软件导刊
月刊
1672-7800
42-1671/TP
16开
湖北省武汉市
38-431
2002
chi
出版文献量(篇)
9809
总下载数(次)
57
总被引数(次)
30383
论文1v1指导