方差和词向量用于文本降维的研究

• 作者: 康宇 王甜甜
• 来源期刊: 计算机系统应用
• 关键词: 方差 词向量 文本分类 衰减系数
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 专论·综述
• 页码范围: 29-34
• 页数: 6页
• 字数: 5982字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.005473

摘要

文本分类中的高维数据和噪声一直是影响文本分类准确率的主要因素,特征选择和特征提取是降维和去噪的主要手段.本文提出根据词的类间概率分布方差和文档分布方差改进TF-IDF的特征选择方法(VAR-TF-IDF),调整Word2vec中的CBOW+HS词向量训练框架,用特征词词向量的叠加作为文本的特征向量,有效地提高了文本分类的准确率和召回率.实验算例证明了所提方案的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	康宇	中国科学技术大学自动化系	25	89	5.0	7.0
2	王甜甜	中国科学技术大学自动化系	5	11	2.0	3.0