基于融合LDA和Doc2vec算法的文本表示模型的研究

• 作者: 宁宁 莫秀良 王春东 佟寅铖
• 来源期刊: 天津理工大学学报
• 关键词: LDA Doc2vec 文本表示 特征选择 文本分类
• 年，卷（期）: 2021,（2）
• 页码范围: 55-60
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1673-095X.2021.02.011

摘要

在文本分类的过程中,由于文本数据具有非结构化、高维性、稀疏性的特征,常常会导致分类效果的不理想.由此可知,文本分类的准确性十分依赖于文本表示的效果.本文通过融合Latent Dirichlet Allocation和Doc2vec算法得到一种新的主题向量表示和文档向量表示,再通过计算其中的余弦相似度来提取文本特征.该方法不仅能得到在特定段落的语境下词与词之间的语义关系,还能因此挖掘出更多与文档相关的主题信息.为了验证算法的有效性,对几种相关方法进行了性能比较,实验结果表明,该方法优于其它方法,生成的文档特征可以通过整合全局和局部关系来提高文本分类性能.