基于BERT-AWC的文本分类方法研究

• 作者: 李金彪 侯进 李晨 陈子锐 何川
• 来源期刊: 微电子学与计算机
• 学科: 工学
• 关键词: 文本分类 注意力机制 卷积神经网络 混合注意力机制
• 年，卷（期）: 2022,（6）
• 所属期刊栏目: 人工智能与算法
• 页码范围: 41-50
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19304/J.ISSN1000-7180.2021.1264

摘要

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题，对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征，为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征，再进一步获取到文本的局部特征，由此弥补了BERT模型无法提取词向量的缺点.BERT模型本身具有的自注意力网络可提取到文本的全局特征来突出全文的重点含义，与此同时在BERT算法中又引入了局部特征，通过将描述文本的局部特征以及全局特征按照重要程度进行融合，最终生成了更加丰富的文本信息.将融合后的特征输入softmax层得到模型的分类结果.平衡多头设计、层级参数共享机制、全连接层优化等方法的运用在保证算法准确度的前提下大大降低了模型参数量，最终形成了一种基于混合注意力机制的BERT-AWC轻量化文本分类算法.在多个公开数据集上的实验结果表明，相较于基准算法BERT，该算法在多个公开数据集上的预测精度均有1~5%的提升，而模型参数量仅为BERT的3.6%，达到了设计预期.