基于多路分块的Pay-as-you-go实体识别方法

• 作者: 于戈 孙琛琛 寇月 申德荣 聂铁铮
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 实体识别 Pay-as-you-go 多路分块 候选对选择 数据集成 数据清洗
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 大数据
• 页码范围: 1704-1720
• 页数: 17页
• 分类号: TP391
• 字数: 15917字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2019.01704

摘要

实体识别是数据集成和数据清洗的一个重要方面.针对Pay-as-you-go数据管理需求,本文提出一个基于多路分块的Pay-as-you-go实体识别方法.该方法不要求提供最优的分块或排序的键,并且可以直接找出脏数据集中冗余度最大的区域.分为两个阶段,初始化阶段和迭代阶段.在初始化阶段,初步地生成候选数据对象对,并按匹配可能性排序后加入到候选队列.在迭代阶段,每次选择候选队列队首的候选对(即最可能匹配的)来处理,并且根据实时的实体识别结果,动态地更新候选对的匹配可能性,调整候选队列.这样减少了无用的数据对象比较,使得实时的识别结果最优化.通过在真实数据集和合成数据集上的实验对比,说明本文提出的基于多路分块的Pay-as-you-go实体识别方法显著地优于已有工作中提出的方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于戈	东北大学计算机科学与工程学院	426	6587	38.0	64.0
2	申德荣	东北大学计算机科学与工程学院	111	1289	18.0	32.0
3	寇月	东北大学计算机科学与工程学院	68	816	12.0	26.0
4	聂铁铮	东北大学计算机科学与工程学院	69	854	13.0	27.0
5	孙琛琛	东北大学计算机科学与工程学院	4	62	3.0	4.0