国内刊号:11-2422/TN
国际刊号:1001-506X
发布日期:
作者:潘沭伽, 陈思光
单位:南京邮电大学物联网学院, 江苏 南京 210003
关键词:边缘计算,联邦学习,去中心化系统,稀疏训练
基金:国家自然科学基金(61971235);江苏省“333高层次人才培养工程”;南京邮电大学“1311”人才计划
为缓解去中心化联邦学习中不同终端节点数据异构带来的负面影响, 在提升系统异步兼容性的同时降低整体通信开销, 提出一种基于掩码位置图的去中心化联邦学习算法。具体地, 设计一种不对称的掩码更新方案。通过逐渐提升稀疏度, 将掩码范数与训练程度绑定, 同时使用可信任的稀疏联邦聚合, 在有效利用稀疏梯度的同时保障系统的安全性。其次, 设计动态掩码社区分割算法, 将梯度掩码与社区分割结合, 可有效利用全网梯度之间的相似性, 主动选择相似聚合目标, 提升模型性能。进一步, 在网络结构上将模型层与掩码层分离, 可降低算力异构对系统可拓展性的影响。最后, 设计一种单线程、可同时模拟数据异构、算力异构与终端节点异步的实验方案。实验结果表明, 与现有相关方法相比, 所提算法在两种数据集与严苛异步条件设置下均可维持高准确率, 并且将通信开销降低了14%~21%。
来源:2025年第4期
《系统工程与电子技术》期刊编辑部