基于联邦学习的隐私安全和高效通信模型

• 作者: 黄国鹏 马鑫 谭美淋 李治江
• 来源期刊: 无线电工程
• 学科: 工学
• 关键词: 联邦学习 隐私安全 通信效率 同态加密 命名实体识别
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 专题:智能信息处理与安全|Special Topic:Intelligent Information Processing and Security
• 页码范围: 417-422
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3106.2022.03.010

摘要

深度学习的应用日益广泛,训练样本是深度学习模型的基础.但是在军事、 商业和金融等领域中,往往会出现模型训练时样本数据分散不易集中和隐私保护等问题.因此,数据隐私安全的研究非常重要.以某领域命名实体识别为应用场景,提出了FedPBert模型,采取了横向联邦学习的方式对Bert模型进行了预训练和微调.为了提高模型的精度,采取对客户端网络全参数加密上传服务器的策略.同时,针对在进行联邦学习训练时客户端与服务器进行通信的加密参数过大且通信效率过低的问题,首次设计了一种可以减少加密参数量同时减少通信量的Random Parameter Aggregation(RPA)算法,在取得与全参数加密方法相当性能的同时,能较大程度地减少通信和加密解密带来的算力开销,并通过实验验证了该方法的有效性.