基于中文地址类信息的分词处理

• 作者: 刘哲 周福才 夏秀峰
• 来源期刊: 沈阳航空工业学院学报
• 学科: 工学
• 关键词: 相似重复记录 中文地址 特征字符 分词
• 年，卷（期）: 2008,（4）
• 所属期刊栏目: 计算机工程
• 页码范围: 63-66
• 页数: 4页
• 分类号: TP311
• 字数: 2471字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-1248.2008.04.016

摘要

数据仓库中脏数据处理的热点问题是识别与消除相似重复记录.针对中文地址类重复信息的处理,提出了一种基于特征字符的分词策略,在建立了包含分词规则的元数据库基础上,描述了基于特征字符的分词算法.实验结果表明分词所用的时间随着数据集的增长变化不大.因此,将分词方法应用于中文地址类重复记录的检测,也不会增加检测的时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	夏秀峰	沈阳航空工业学院计算机学院	103	517	11.0	17.0
2	刘哲	沈阳师范大学计算中心	7	32	3.0	5.0
6	周福才	东北大学信息科学与工程学院	75	621	14.0	22.0