PDM:基于Hadoop的并行数据分析系统

• 作者: 于乐 吴斌 段松青 王柏
• 来源期刊: 湖南大学学报（自然科学版）
• 关键词: 云计算 Hadoop 并行算法 数据挖掘 社会网络分析
• 年，卷（期）: 2012,（10）
• 所属期刊栏目: 计算机科学与工程
• 页码范围: 87-92
• 页数: 6页
• 分类号: TP311
• 语种: 中文

摘要

提出了一款基于Hadoop的并行数据分析系统——PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和“多源最短路径”算法的原理和实现,其中,提出的“消息传递模型”能有效解决MapReduce难以处理邻接矩阵的问题；介绍了基于电信数据的典型应用,如采用并行k均值和决策树算法实现的“套餐推荐”,利用并行PageRank算法实现的“营销关键点发现”等；最后通过性能测试,说明该系统适合高效地处理大规模数椐.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴斌	北京邮电大学计算机学院	80	1409	15.0	36.0
2	王柏	北京邮电大学计算机学院	59	717	14.0	25.0
3	段松青	北京邮电大学计算机学院	4	41	3.0	4.0
4	于乐	北京邮电大学计算机学院	3	35	2.0	3.0