RHS-CNN:一种基于正则化层次Softmax的CNN文本分类模型

• 作者: 何养明 王勇 陈荟西 黎春
• 来源期刊: 重庆理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 文本分类 正则化 H-Softmax RHS-CNN
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 信息·计算机
• 页码范围: 187-195
• 页数: 9页
• 分类号: TP391
• 字数: 6820字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-8425(z).2020.05.024

摘要

传统的卷积神经网络分类模型(CNN)的输出层采用扁平式架构的标准Softmax,在数据量较大、类别较多的文本分类任务中计算复杂度高,训练耗时长;而基于霍夫曼树(Huffman tree)构建的改进算法——层次Softmax(hierarchical softmax,H-Softmax)能极大地提高训练速度,但由于加入了大量的节点参数,使得优化难度增加,优化需要更长的迭代步,且容易过拟合,继而影响模型的拟合速度和分类效果.为此,提出了改进算法模型RHS-CNN(regularization hierar-chical softmax CNN),采用正则化的方法,对H-Softmax的节点参数进行约束,避免过拟合,增强模型的泛化能力.实验分析结果表明:所提出的方法在相应评价指标上相对Softmax、H-Softmax有着一定的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王勇	重庆理工大学计算机科学与工程学院	37	257	8.0	15.0
2	何养明	重庆理工大学计算机科学与工程学院	5	10	1.0	3.0
3	黎春	重庆理工大学计算机科学与工程学院	4	9	1.0	3.0
4	陈荟西	重庆理工大学计算机科学与工程学院	4	1	1.0	1.0