基于自注意力双流翻译循环神经网络的中国南部沿海地区红树林提取
编号:189
访问权限:私有
更新:2023-04-11 09:27:29
浏览:512次
特邀报告
摘要
本文以 Sentinel-2数据为主要的遥感数据源,通过构建多元时间序列,对中国南 部沿海的茅尾海、东寨港和泉州湾三个区域进行红树林的提取研究。首先,为充分利用红树林的物候特征设计了相似度-趋势距离函数来构建可分性较高的多元时间序列。其次,为获取多元时间序列不同维度之间的相关信息,提出双流翻译循环神经网络。最后,为弥补双流翻译循环神经网络无法关注到更重要的局部信息的不足,对网络进行改进并提出自注意力双流翻译循环神经网络。主要研究内容如下:
(1)为选择更具有可分性的指数构建多元时间序列,考虑到现有的度量函数不具 有尺度不变性以及度量标准较为单一的不足之处,提出了一个新的度量函数——相似度-趋势距离。该距离函数通过计算皮尔森相关系数和趋势子序列,能够综合考 虑时间序列之间的相似度和趋势,更有利于捕捉时间序列之间的差异性,且具有尺度 不变性的优势。在三个区域的实验证明了利用相似度-趋势距离所构建的多元时间序 列相较于现有的距离函数更具有优越性,总体精度在茅尾海、东寨港和泉州湾分别达 到了 94.95%、88.21% 和 93. 15%,分别高于其他距离函数 0.43%- 1.34%,0.30%-0.72% 和 0.71%-4.79%。
(2)为进一步提取多元时间序列中不同维度之间的相关特征,同时充分的挖掘 时间序列的特征信息,提出了双流翻译循环神经网络(Two-Stream Translating LSTM Network,TSTLN)。首先,模型使用循环神经网络作为网络的基础架构。其次,为获 取多元时间序列不同维度之间的相关信息,引入自监督的思想设计了孪生翻译模块。最后,为同时获取多元时间序列的局部信息和全局信息,设计了双流模型的架构。相较于现有的多元时间序列分类网络,提出的模型能够同时获取局部特征和全局特征,且能够对不同维度之间的相关特征进行提取。双流翻译循环神经网络在茅尾海、东寨 港和泉州湾三个研究区的精度分别为97.02%、90.58%、94.55%,总体精度和Kappa系数均高于其他分类方法。同时,双流翻译循环神经网络使用深度卷积、LSTM 等基础模型,依靠翻译任务提取隐藏的特征,在模型参数量和运行时间方面有着明显的优势。
(3)为使得网络在学习局部特征时关注更重要的信息,对双流翻译循环神经网络 进行改进并提出自注意力双流翻译循环神经网络(Self-attention Two-Stream Translating LSTM Network,SATSTLN)。双流翻译循环神经网络受限于卷积的结构,无法关注更重要的局部信息,因此提出深度卷积自注意力模块,模块通过将局部自注意力和卷积进行结合,能够进一步提高网络的特征表达能力。在进行自注意力运算的过程中,为防止不同位置局部信息的泄露,使用[SEP]标志来描述局部信息。同时,为了统一卷 积特征和自注意力特征之间的尺度,加入门控机制进行特征融合。自注意力双流翻译 循环神经网络在茅尾海、东寨港和泉州湾三个研究区的精度分别为 97.28% 、90.76%、 94.82%,总体精度和Kappa系数高于其他分类方法和第四章提出的双流翻译循环神经网络。自注意力双流翻译循环神经网络引入自注意力提取更为重要的局部特征,在模型参数量和运行时间方面有着明显的优势。此外,引入自注意力网络结构使得模型在有限的样本下也能关注于更为重要的信息,弥补了双流翻译循环神经网络在样本较少条件下的不足。
本文主要围绕多元时间序列下的红树林提取进行研究,并利用了深度学习的相关知识提出了新的多元序列分类模型,本文的创新点可归纳为以下三点:
( 1) 设计了相似度-趋势距离度量函数,综合考虑时间序列之间的相似度和趋势,更有利于捕捉时间序列之间的差异性。
( 2) 提出了双流翻译循环神经网络,设计了双流网络架构,并引入自监督的思想 提出了孪生翻译模型。网络能够挖掘多元时间序列中不同维度之间的相关特征,并同时对时间序列的全局特征和局部特征进行提取。
( 3) 提出了自注意力双流翻译循环神经网络,网络引入自注意力机制并提出了深 度卷积自注意力模块。有效提高了网络的特征表达能力,并提高了网络在有限样本下 的分类效果。
关键词
红树林,时间序列,深度学习,循环神经网络,自注意力机制
发表评论