基于分类词典的文本相似性度量方法

• 作者: 李海林 邹金串
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 文本挖掘 语义分析 分类词典 关键词提取 词语编码 相似性度量 聚类 分类
• 年，卷（期）: 2017,（4）
• 页码范围: 556-562
• 页数: 7页
• 分类号: TP301
• 字数: 6729字
• 语种: 中文
• DOI: 10.11992/tis.201608010

摘要

针对现有基于语义知识规则分析的文本相似性度量方法存在时间复杂度高的局限性,提出基于分类词典的文本相似性度量方法.利用汉语词法分析系统ICTCLAS对文本分词,运用TF×IDF方法提取文本关键词,遍历分类词典获取关键词编码,通过计算文本关键词编码的近似性来衡量原始文本之间的相似度.选取基于语义知识规则和基于统计两个类别的相似性度量方法作为对比方法,通过传统聚类与KNN分类分别对相似性度量方法进行效果验证.数值实验结果表明,新方法在聚类与分类实验中均能取得较好的实验结果,相较于其他基于语义分析的相似性度量方法还具有良好的时间效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李海林	华侨大学信息管理系	34	368	10.0	18.0
2	邹金串	华侨大学现代应用统计与大数据研究中心	2	3	1.0	1.0