系统工程与电子技术

作者：刘绍华, 杜康, 佘春东, 杨傲

单位：北京邮电大学电子工程学院, 北京 100080

关键词：轻量化,知识蒸馏,注意力机制,联合训练

基金：国家自然科学基金(91938301)

介绍了一种基于轻量化CenterNet的多教师联合知识蒸馏方案。所提方案能有效解决模型轻量化带来的性能恶化问题，可以显著缩小教师模型和学生模型之间的性能差距。将大规模复杂模型作为教师模型，指导训练轻量化学生模型。相比于模型的传统训练方案，使用所提知识蒸馏训练方案可以在相同的训练轮数后使轻量化模型达到更优的检测性能。主要贡献是提出了适用于CenterNet目标检测网络的新型知识蒸馏训练方案——多教师联合知识蒸馏。在后续实验中，进一步引入了蒸馏注意力机制，从而优化了多教师联合知识蒸馏的训练效果。在VOC2007数据集(Visual Object Classes 2007 Dataset)上，以MobileNetV2轻量化网络作为主干网络为例，相较于传统的CenterNet(主干网络为ResNet50)，所提方案在参数量指标上压缩了74.7%，推理速度提升了70.5%，在平均精度上只有1.99的降低，取得了更好的“性能-速度”平衡。实验证明，同样经过100轮训练，使用多教师联合知识蒸馏训练方案的轻量化模型相较于普通训练方案，平均精度提升了11.30。

来源：2024年第4期

《系统工程与电子技术》期刊编辑部

查看系统工程与电子技术杂志2024年第4期