随着地表观测手段和技术的不断发展，获取同一地区多源数据的能力显著提高，数据质量和可用性也随之大幅提升，从而实现了利用多源数据进行地面信息表达的可能。本文提出了一个名为Multi-Model Transformer Cascaded Fusion Net（MMTCFN）的新模型，可用于多源遥感数据高光谱图像（HSI）和LiDAR数据的融合和分类。该模型包括特征提取和特征融合两个阶段。首先，特征提取阶段采用三分支级联卷积神经网络（CNN）框架，用来提取地物的浅层特征。在此基础上，特征融合阶段我们采用基于Transformer的vectorized pixel group transformer（VPGT）模块生成了多模态长距离集成深层特征。在VPGT模块中，我们设计了一个vectorized pixel group embedding，以一种不重叠的多空间形式保留了三个分支提取的全局特征。此外，我们在multi-head self-attention（MHSA）中中引入了DropKey机制，以缓解过拟合现象。本模型在三个HSI-LiDAR数据集上进行了平衡和不平衡训练样本的实验。具体而言，我们在Houston和WuHan数据集的标记样本中分别选取了5%和0.1%的样本作为训练集，在MUUFL数据集中，我们则选取了每类地物的150个像素作为训练样本进行训练。所提出的框架在7个SOTA方法中均取得了最高的OA表现，这表明了MMTCFN在HSI-LiDAR分类任务中表现出了卓越的优越性。
 

深度学习,高光谱图像,多源传感器分类,高光谱与LiDAR融合分类