系统工程与电子技术

作者：陈晓萱, 徐书文, 胡绍海, 马晓乐

单位：1. 北京交通大学计算机与信息技术学院, 北京 100044；2. 中国电子科技集团公司电视电声研究所, 北京 100015

关键词：图像融合,全局特征,自注意力机制,自编码器,深度学习

基金：国家自然科学基金(62172030);国家自然科学基金(62202036)

由于卷积运算过于关注图像的局部特征, 在对源图像进行融合时容易造成融合图像的全局语义信息丢失。为了解决该问题, 提出一种基于卷积与自注意力的红外与可见光图像融合模型。该模型在使用卷积模块提取图像局部特征的同时, 还使用自注意力来提取图像全局特征。此外, 由于简单运算无法满足不同层次特征的融合, 提出使用嵌入式块残差融合模块来实现多层次特征融合。实验结果表明, 相比无监督深度融合算法, 所提的方法在主观评价与6项客观指标上的结果具有一定优势。其中, 互信息、标准差和视觉保真度分别提升了61.33%、9.96%和19.46%。

来源：2024年第8期

《系统工程与电子技术》期刊编辑部

查看系统工程与电子技术杂志2024年第8期