MapReduce框架下基于字符串波形的实体识别方法

• 作者: 刘永楠 王宏志 高宏
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 云计算 MapReduce 字符串波形 实体识别
• 年，卷（期）: 2011,（8）
• 所属期刊栏目: 学术研究
• 页码范围: 730-739
• 分类号: TP391
• 字数: 7168字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.2011.08.006

摘要

在云计算平台下需要读取大量数据进行分析,数据中大量指代同一实体的重复数据给数据的分析和处理带来了困难.基于数据记录间的相似度进行聚类分析是目前实体识别的主要方法之一,但其耗时较长,而且不适用于云计算环境.给出了一种能够很好地利用云计算特点的基于字符串波形的实体识别方法.该方法首先统计字符频率,按照字符频率的大小生成字符串的波形,再利用基于波形的过滤性质加快相似度的计算,进行基于相似度的聚类.理论分析和通过真实数据得出的实验结果都表明了这种方法的正确性和有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘永楠	哈尔滨工业大学计算机科学与技术学院	3	20	2.0	3.0
2	王宏志	哈尔滨工业大学计算机科学与技术学院	69	557	12.0	21.0
3	高宏	哈尔滨工业大学计算机科学与技术学院	109	1574	18.0	36.0