Ya rn架构下基于G A的We b日志挖掘技术

• 作者: 丁楠 张宝权 李静梅
• 来源期刊: 计算机应用研究
• 关键词: Yarn架构 日志挖掘 遗传算法 并行计算
• 年，卷（期）: 2014,（11）
• 页码范围: 3388-3391
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2014.11.042

摘要

提出了一种面向TB级别日志文件挖掘需求的日志挖掘技术。采用MapReduce编程模型设计并实现了一种基于子种群联姻策略的GA，并部署到Yarn架构上，使Yarn架构与GA有效结合。在算法Partition阶段，采用Round-Robin策略代替原有的哈希方法，使各个子种群基因更加趋向均匀分布，增加了子种群收敛效率和结果准确性，同时均衡各个节点运行负载，提高了系统性能。经测试，应用该技术的挖掘结果平均准确度达到93％以上，效率提升接近33％。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李静梅	哈尔滨工程大学计算机科学与技术学院	58	731	12.0	25.0
2	张宝权	哈尔滨工程大学计算机科学与技术学院	1	9	1.0	1.0
3	丁楠	清华大学计算机系	2	23	2.0	2.0