一种基于Token匹配的中文数据清洗方法

• 作者: 刘嘉 张璟 李军怀
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 中文数据清洗 Token 拼写错误 缩写
• 年，卷（期）: 2009,（11）
• 所属期刊栏目: 基金项目论文
• 页码范围: 43-45,53
• 页数: 4页
• 分类号: TP3
• 字数: 3543字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2009.11.014

摘要

拼写错误和缩写问题是中文数据清洗的核心问题,目前相关研究还很欠缺.提出了一种基于Token匹配的中文数据清洗方法,将中文字符串转换成拼音字符串,采用Token匹配算法检测处理中文数据中的"脏数据".实验表明,提出的方法能够有效地提高数据的准确度,大大减少了人工工作量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李军怀	西安理工大学计算机科学与工程学院	137	2421	25.0	45.0
2	张璟	西安理工大学计算机科学与工程学院	122	1368	20.0	30.0
3	刘嘉	西安理工大学计算机科学与工程学院	1	15	1.0	1.0