针对特定主题的短文本向量化

• 作者: 田瑞 闫丹凤
• 来源期刊: 软件
• 学科: 工学
• 关键词: 向量空间模型 特征选取 权重计算
• 年，卷（期）: 2012,（11）
• 所属期刊栏目: 理论计算机科学
• 页码范围: 202-205
• 页数: 4页
• 分类号: TP311
• 字数: 5383字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2012.11.053

摘要

虽然针对中文文本的向量化技术已经比较成熟,但是由于短文本自身信息量少,特征项模糊等特点,使得用传统的文本向量化方法处理短文本会带来向量化后的高纬度以及向量的稀疏性等诸多问题.本文通过深入研究向量化的两个重要环节,即特征选取和权重计算,比较分析各自的利与弊.结合短文本的特点,在借鉴传统方法的思想,对针对特定主题下的短文本特征提取和权重计算方法都提出了改进的方法,在计算权重的时候考虑特征项长度带来的影响,并引入了词长因子的概念,之后通过实验数据验证方法的可行性和优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	闫丹凤	北京邮电大学网络技术研究院	8	34	3.0	5.0
2	田瑞	北京邮电大学网络技术研究院	1	11	1.0	1.0