卷积神经网络特征重要性分析及增强特征选择模型

• 作者: 刘奕群 卢泓宇 张敏 马少平
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 卷积神经网络 特征重要性分析 特征选择 文本分类
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 复杂环境下的机器学习研究专刊
• 页码范围: 2879-2890
• 页数: 12页
• 分类号: TP181
• 字数: 8582字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005349

摘要

卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.