一种基于MapReduce的知识聚类与统计机制

• 作者: 徐小龙 李永萍
• 来源期刊: 电子与信息学报
• 学科: 工学
• 关键词: 数据挖掘 聚类 知识 共现矩阵 统计 MapReduce
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 论文
• 页码范围: 202-208
• 页数: 7页
• 分类号: TP311.5
• 字数: 5754字
• 语种: 中文
• DOI: 10.11999/JEIT150247

摘要

网络文献知识库中的海量资源及其分类的粗粒度,导致学习者容易在文献检索和阅读过程出现认知迷航和知识过载问题.该文提出一种基于MapReduce的知识聚类与统计机制:首先,提出基于MapReduce的共现矩阵构建算法MR-CoMatrix;其次,将共现矩阵与相似度系数结合构建相似度矩阵;然后,通过Z Scores对相似度矩阵进行标准化;最后,使用离差平方和法(Ward's method)对相似度矩阵进行聚类,生成树状的知识聚类谱系图;基于聚类结果,提出基于MapReduce的知识文献统计算法MR-Statistics,对每个分类的知识属性进行统计.实验结果表明:将MR-CoMatrix和MR-Statistics方法应用于网络文献知识库进行知识聚类和统计,达到较理想的聚类精度和计算效率,实现了细粒度知识聚类和多维统计,同时减少了时间开销.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐小龙	南京邮电大学计算机学院	108	913	17.0	25.0
2	李永萍	南京邮电大学计算机学院	2	7	2.0	2.0