基于多序列卷积循环神经网络的全色锐化方法
编号:514
访问权限:私有
更新:2023-04-25 20:11:07
浏览:580次
张贴报告
摘要
全色锐化被定义为融合全色(panchromatic,PAN)图像中的空间信息和多光谱(multispectral ,MS)图像中的光谱信息,用于生成具有高空间分辨率和高光谱分辨率的多光谱图像。在这项工作中,我们提出了一种基于多序列卷积循环网络(multi-sequence convolutional recurrent network ,MCRNN)的全色锐化。据我们所知,这是第一次成功地使用循环神经网络 (recurrent neural network ,RNN) 来提高全色锐化的性能。提出的 MCRNN 包含两个子网络,即一个浅层特征提取子网络和一个深度特征融合子网络。在浅层特征提取子网络中,PAN 和 MS 图像在光谱维度上作为多序列数据进行叠加。然后,使用基于残差学习的卷积神经网络(convolutional neural network ,CNN)从多序列数据中获取特征图。在深度特征融合子网络中,由于 MS 图像和 PAN 图像高度相关,创新性地使用属于 RNN 的卷积递归神经网络(convolutional recurrent neural network ,ConvGRU)对这些特征图之间的相邻波段和跨波段关系进行建模,以捕捉相邻波段和非相邻波段的特征相关性,然后对输出结果进行全局平均池化,从而获得更好的性能。基于降分辨率和全分辨率的几个数据集,表明所提出的 MCRNN 与其他方法相比具有更优越的性能。
发表评论