融合词语共现距离和类别信息的短文本特征提取方法

• 作者: 张旭鹏 王双 邢玉莹 马慧芳
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 短文本 共现距离 期望交叉熵 特征提取
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 1689-1695
• 页数: 7页
• 分类号: TP391.4
• 字数: 5849字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2018.09.022

摘要

针对传统特征加权方法未充分考虑词语之间的语义信息和类别分布信息的不足,提出了一种融合词语共现距离和类别信息的短文本特征提取方法.一方面,将同一短文本中两个词语之间的间隔词数作为共现距离,计算它们之间的相关度.通过计算这两个词语共同出现的频率,得到每个词的关联权重;另一方面,利用改进的期望交叉熵计算某个词在某个类别中的权重值,将两者整合,得到某个类别中所有词的权重值.对所有类别中的词按权重值的大小进行降序排序,选取前K个词作为新的特征词项集合.实验表明,该方法能够有效提高短文本特征提取的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马慧芳	西北师范大学计算机科学与工程学院	59	520	12.0	21.0
5	张旭鹏	西北师范大学计算机科学与工程学院	2	2	1.0	1.0
6	王双	西北师范大学计算机科学与工程学院	2	2	1.0	1.0
7	邢玉莹	西北师范大学计算机科学与工程学院	1	1	1.0	1.0