基于多模态融合的赌博应用识别模型

• 作者: 闵宗茹 纪天啸 胡燕林 李致 杨云龙
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 赌博应用 应用识别 残差神经网络 注意力机制 多模态融合
• 年，卷（期）: 2021,（z2）
• 所属期刊栏目: 应用前沿、交叉与综合|Frontier & interdisciplinary applications
• 页码范围: 318-324
• 页数: 7页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2021040674

摘要

安卓赌博应用安装包中往往含有文本、图片、证书等大量可用于标识应用属性的多模态信息,针对当前赌博应用内容有害发现及安全研究较少、已有方法不具有针对性等问题,提出了一种基于多头注意力机制的多模态融合赌博应用识别模型.首先,提取赌博应用安装包中的图片信息,先后采用VGGNet和ResNet模型提取图片特征、识别图片信息;其次,提取赌博应用安装包中的文本信息,采用双向长短期记忆(BiLSTM)方法处理文本信息、识别文本内容;最后,基于多头注意力机制,建立多模态融合模型,对赌博应用进行综合性识别.通过在真实数据集上验证表明,采用不同文本和图片模型的平均准确率分别为71.5％和76％,该多模态融合模型的平均准确率为85.5％.可见,相比单一文本模型或图片模型,多模态融合模型有效提高了赌博应用的识别准确率.