基于多尺度的n-grams特征选择加权及匹配算法

• 作者: 刘世兴
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: n-grams 特征选择 特征加权 偏序集 词性 语义近似度
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 学术研究与应用
• 页码范围: 61-66
• 页数: 6页
• 分类号: TP391.1
• 字数: 3808字
• 语种: 中文

摘要

n-grams语言模型作为文本分类中常用的特征,具有结构简单、易筛选、携带语义量大以及对分类贡献值高等优点.但由于其固有的结构特点,在使用普通的选择加权及匹配算法时会造成权值区分不明显,并产生大量稀疏数据,使得建立的分类模型不准确,进而导致最终分类结果的偏差.为解决上述问题,根据词性、语义及词汇的内在偏序关系,提出一种结合词汇、词性和语义的特征选择加权及匹配算法,使n-grams特征权值区分明显的同时避免在训练和测试过程中产生大量稀疏数据.在美国当代英语语料库和北京BBC汉语语料库中的实验结果表明,与传统的n-grams特征选择加权及匹配算法相比,基于多尺度的n-grams特征选择加权及匹配算法中得到的n-grams特征权值区分明显且稀疏数据大幅减少,在支持向量机(Support Vector Machine,SVM)中的分类效果更好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘世兴	辽宁机电职业技术学院信息工程系	1	0	0.0	0.0