基于概率主题和文本互扩展的短文本分类技术

• 作者: 周国剑 类先富 陈庆春
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 短文本 概率主题 特征扩展 潜在狄利克雷分布 支持向量机
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 2430-2435
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2020.10.024

摘要

短文本一般具有篇幅较短、特征稀疏、信息量不明显等特性,直接使用传统的文本分类方法进行分类的效果一般不理想.潜在狄利克雷分布(LDA)主题模型生成的概率主题有助于使文本以语义为中心并减少稀疏性,进而使用概率主题信息对短文本进行特征扩展成为了可能.为了充分利用LDA主题模型的优势,论文提出了一种基于概率主题模型和文本互扩展的短文本分类方法,首先基于短文本自身语义信息的互扩展,然后依据LDA主题模型预测后得到的"文档—主题"和"主题—词"分布信息以及短文本的相异词关系实现短文本的特征扩展,最后使用支持向量机(SVM)分类方法进行短文本的分类处理.论文的分析验证结果表明,相较于单纯使用向量空间模型(VSM)来表征短文本,论文所提方法能有效改善对不同类别的短文本分类性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈庆春		16	66	5.0	7.0
2	类先富		5	2	1.0	1.0
3	周国剑		2	0	0.0	0.0