139 / 2025-06-30 16:18:47

基于深度Q学习和集成启发式求解多敏捷成像卫星调度问题

强化学习,集成启发式,卫星任务规划,智能规划技术

专题工作坊：航天装备体系工程 > 4. 航天任务智能规划技术

本文针对多敏捷地球观测卫星调度问题（Multi-Agile Earth Observation Satellite Scheduling Problem, MAEOSSP）展开研究，旨在通过创新性的算法设计解决该问题的复杂性和计算效率瓶颈。地球观测卫星作为获取空间信息的主要平台，其任务调度直接影响观测任务的执行效率和经济效益。随着卫星系统规模的扩大和任务需求的多样化，传统调度方法在应对动态约束和资源分配优化方面逐渐暴露出局限性。MAEOSSP作为典型的NP难问题，其复杂性源于两个核心挑战：一是任务可见时间窗口（Visible Time Window, VTW）长度的动态变化导致解空间扩展，二是卫星姿态转换时间依赖于前后任务的起始和结束姿态，增加了调度的时空耦合难度。现有研究多采用单阶段模型或两阶段模型解决该问题，但前者受限于计算复杂度，后者则面临子问题解耦后的稳定性不足。为此，本文提出一种结合深度强化学习（Deep Q-learning, DQN）与集成启发式方法的两阶段算法TAM-ECH（Task Allocation Model-Ensemble Construction Heuristic），通过任务分配与单星调度的协同优化，显著提升了调度效率和解决方案质量。

在方法设计上，TAM-ECH将任务分配建模为马尔可夫决策过程（Markov Decision Process, MDP），利用深度Q网络（Deep Q Network, DQN）自主学习任务分配策略。具体而言，任务分配模块（Task Allocation Module, TAM）通过状态空间构建捕捉卫星运行状态和任务特征，包括静态元素（任务优先级、持续时间）和动态元素（已调度任务的时间冲突情况）。动作空间定义为卫星选择策略，奖励函数基于任务分配后的利润增量设计，通过正向激励成功分配和负向惩罚无效操作引导策略优化。为增强探索效率，TAM引入改进的ε-贪心策略结合禁忌搜索机制，动态调整探索与利用的平衡。在单星调度层面，集成构建启发式（Ensemble Construction Heuristics, ECH）通过多规则融合实现稳定高效的调度。ECH综合考虑最大时间窗口（Maximum Time Window, MTW）、最佳成像机会（Best Imaging Opportunity, BIO）和最小插入成本（Minimum Insertion Cost, MIC）等启发式规则，采用加权组合策略适应不同场景需求。此外，基于时间松弛的滑动插入策略通过调整预调度任务的时间窗口，为新任务腾出执行空间，同时满足姿态转换时间约束。

实验部分通过对比传统方法（如Adaptive Large Neighborhood Search, A-ALNS和Greedy Randomized Iterated Local Search, GRILS）和大规模（600-1000任务）场景下，TAM-ECH的平均利润率分别比A-ALNS高35%、比GRILS高11.7%，且计算时间显著缩短。参数敏感性分析表明，任务排序方法对结果影响显著，按利润降序排列（Profit in Descending Order, PDO）的调度序列能最大化整体效益。此外，ECH的参数优化显示，在任务规模较大时，MTW规则的早期应用有助于保留空闲时间，而BIO和MIC规则的后期介入可提升调度紧凑性。值得注意的是，TAM-ECH的训练过程通过经验回放机制加速策略收敛，其基于多层感知机的网络架构在保证计算效率的同时，避免了Transformer等复杂结构带来的高时间成本。

研究进一步揭示了TAM-ECH的内在优势：TAM通过DQN的自学习能力适应动态任务分配需求，而ECH的规则集成机制则确保单星调度的鲁棒性。两者的协同作用使算法能够平衡全局优化与局部调整，有效应对卫星数量增加和任务冲突加剧带来的挑战。在4颗卫星、1000任务的极端场景下，TAM-ECH的利润率可达93.35%，远超传统方法的65%左右，同时保持稳定的求解时间（约5秒）。这一成果不仅为多星调度提供了可扩展的解决方案，也为卫星星座管理的智能化升级提供了技术支撑。未来研究可进一步探索深度强化学习与元启发式算法的深度融合，以及面向实时动态环境的在线调度策略优化。