基于Hadoop平台的相关性权重算法设计与实现

• 作者: 高军 黄献策
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 分布式计算 TF-IDF算法 日志 兴趣模型 信息检索
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 云计算与大数据专题
• 页码范围: 26-31
• 页数: 6页
• 分类号: TP391
• 字数: 4994字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0049976

摘要

传统TF-IDF算法仅从词频与逆向文档频率的角度计算关键词与文档之间的相关性权重, 忽略了用户兴趣对权重计算的影响.为此, 以满足用户信息检索目的为研究背景, 提出一种基于日志关联的相关性权重算法.从面向用户相关性的角度出发, 通过分析用户的搜索日志建立用户兴趣模型, 并结合分布式计算的思想, 运用MapReduce编程框架实现计算任务的并行化处理.实验结果表明, 该算法在处理海量数据时, 不仅能够提高算法效率, 而且可以根据用户的历史检索记录动态地改变检索词的权重, 提升用户与系统的交互能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高军	上海海事大学信息工程学院	9	47	4.0	6.0
2	黄献策	上海海事大学信息工程学院	3	6	1.0	2.0