无关语获取与语料聚类方法研究

• 作者: 周峰 朱俊武 童林 陈伟聪 陈波
• 来源期刊: 南京师大学报（自然科学版）
• 学科: 工学
• 关键词: 无关语 获取 识别 算法
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 计算机科学
• 页码范围: 150-157
• 页数: 8页
• 分类号: TP391
• 字数: 6570字
• 语种: 中文

摘要

剔除无关语及语料聚类对提高自然语言理解的质量具有重要意义，也是自然语言理解的预处理关键技术。鉴于无关语在语料中存在明显的特性，本文通过种子无关语推导出强无关语，并依据强无关语识别并导出新的无关语；然后，基于2-gram构建句子之间的相似性，利用层次法对语料进行聚类对QA语料进行问题相似的聚类。最后，通过识别的新无关语实验及语料聚类实验，验证本文提出方法的有效性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱俊武	扬州大学信息工程学院	42	143	6.0	10.0
2	陈波	扬州大学信息工程学院	12	94	4.0	9.0
3	周峰	扬州大学信息工程学院	13	42	3.0	6.0
4	童林	扬州大学信息工程学院	3	4	1.0	2.0