基于概率语义分布的短文本分类

• 作者: 颜永红 马成龙
• 来源期刊: 自动化学报
• 关键词: 短文本分类 词矢量 语义分布 高斯混合模型
• 年，卷（期）: 2016,（11）
• 页码范围: 1711-1717
• 页数: 7页
• 字数: 6256字
• 语种: 中文
• DOI: 10.16383/j.aas.2016.c150268

摘要

在短文本分类中,面对特征稀疏的短文本,如何充分利用文本中的每一个词语成为关键.本文提出概率语义分布模型的思想,首先通过查询词矢量词典,将文本转换为词矢量数据；其次,在概率语义分布模型的假设下利用混合高斯模型对无标注的文本数据进行通用背景语义模型训练；利用训练数据对通用模型进行自适应得到各个领域的目标领域语义分布模型；最后,在测试过程中,计算短文本属于领域模型的概率,得到最终的分类结果.实验结果表明,本文提出的方法能够从一定程度上利用短文本所提供的信息,有效降低了对训练数据的依赖性,相比于支持向量机(Support vector machine, SVM)和最大熵分类方法性能相对提高了17.7%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	颜永红	中国科学院声学研究所语言声学与内容理解重点实验室	94	586	14.0	20.0
3	马成龙	中国科学院声学研究所语言声学与内容理解重点实验室	2	31	2.0	2.0