YARN平台上的并行主题标引算法

• 作者: 廖东杰 文坤梅 李瑞轩 董新华 赵铄乂 辜希武
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 主题标引 YARN平台 有向无环图计算框架 固态硬盘
• 年，卷（期）: 2014,（12）
• 所属期刊栏目: 学术研究
• 页码范围: 1409-1421
• 页数: 13页
• 分类号: TP319
• 字数: 9808字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1406004

摘要

文档主题标引是当前个性化智能检索的重要前提，但面对大规模海量数据资源时，主题标引也成为性能瓶颈。当前在MapReduce框架上设计实现的主题标引算法，通常存在启动任务耗时长，中间数据过多地进行磁盘IO等缺陷。为了解决此类问题，采用YARN（yet another resource negotiator）作为底层分布式资源管理平台，选择更加合适的计算框架来改善计算性能。针对文档主题标引算法计算步骤多、阶段性强的特点，选择有向无环图（directed acyclic graph, DAG）计算模型进行算法实现，避免不必要的作业拆分，从而减少中间结果的磁盘IO。另外，考虑到MapReduce的排序策略耗时较多，而有些计算无需对结果排序，故可以改用基于Hash的数据归约策略来提高计算性能，但这又会带来随机读的问题。利用固态硬盘高速随机读的特性，设计相应的优化计算策略来解决随机读的问题。通过实验对比发现，以YARN为底层管理平台，在此基础上选择合适的计算框架并加以优化，可以有效改善分布式计算的性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	文坤梅	华中科技大学计算机科学与技术学院	22	363	10.0	19.0
2	李瑞轩	华中科技大学计算机科学与技术学院	99	1574	21.0	34.0
3	辜希武	华中科技大学计算机科学与技术学院	21	338	9.0	18.0
4	董新华	华中科技大学计算机科学与技术学院	3	203	3.0	3.0
5	廖东杰	华中科技大学计算机科学与技术学院	2	148	2.0	2.0
6	赵铄乂	华中科技大学计算机科学与技术学院	1	4	1.0	1.0