一种基于频繁词集的短文本特征扩展方法

• 作者: 欧阳元新 熊璋 罗建辉 袁满
• 来源期刊: 东南大学学报（自然科学版）
• 学科: 工学
• 关键词: 频繁项目集 短文本分类 特征扩展
• 年，卷（期）: 2014,（2）
• 页码范围: 256-260
• 页数: 5页
• 分类号: TP391
• 字数: 4823字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0505.2014.02.006

摘要

为了解决向量空间模型（VSM）对短文本内容表示能力不足的问题，提出了一种基于频繁词集的特征扩展方法。定义了单词间的共现关系和类别同向关系，通过计算单词集的支持度和置信度，挖掘出具有相同类别倾向的频繁词集，并将其作为短文本特征扩展的背景知识库。对于短文本中的每个原始单词，从背景知识库中查找包含有该单词的频繁词集，将其作为扩展特征加入原特征向量中。搜狗语料集上的实验结果表明，置信度和支持度对背景知识库的规模有较大的影响，但是扩展过多的特征存在冗余性，对分类效果没有进一步的提升。基于频繁词集构建的短文本背景知识库可以作为有效的扩展特征；当训练文本数较为有限时，特征扩展对支持向量机SVM的分类效果有显著的提升。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊璋	北京航空航天大学计算机学院	175	2114	23.0	41.0
5	袁满	北京航空航天大学计算机学院	9	240	4.0	9.0
9	欧阳元新	北京航空航天大学计算机学院	25	450	9.0	21.0
13	罗建辉	北京航空航天大学计算机学院	1	28	1.0	1.0