0 引言
多机任务规划是一个复杂的优化问题，需要对资源进行策略性分配、路径生成和动态调度，以最大限度地提高任务效率。在其核心组成部分——任务分配、路径规划和有效载荷管理中，协同任务分配和动态路径规划对于确保任务成功和飞机在恶劣环境下的生存能力至关重要[1]。然而，随着现代任务环境日益动态化，飞机集群规模不断扩大，传统的规划方法在可扩展性和实时响应方面面临着严峻挑战。
本文提出了一种基于价值混合网络（VM-Net）的新型多智能体任务规划算法。为了解决时间依赖性问题，将改进的门控循环单元（I-GRU）和自注意力机制集成到Actor-Critic框架中，使智能体能够基于历史轨迹和全局上下文做出决策。同时，为了促进显式协作并解决信用分配问题，引入价值混合网络，该网络根据个体效用估计联合价值函数以对智能体的整体决策进行评估。此外，为了缓解规划任务中常见的奖励稀疏问题，设计了一种基于距离-角度耦合势函数的密集奖励方案（几何感知奖励）。大量的仿真结果表明，VM-Net能够有效地从小规模（2v2）扩展到大规模非对称（6v24）任务，并展现出较理想的协作行为。
这项工作的主要贡献有三方面：
1）用于时空推理的新型架构：提出VM-Net，它将基于I-GRU的时间特征提取与自注意力机制相结合。这使得智能体能够有效地利用历史信息和智能体间的交互进行精确的动作决策和状态评估；
2）值混合模块：设计了一个可学习的混合模块，将各个智能体的状态值聚合到一个全局值函数中，该机制有效地整合了所有智能体的性能，引导优化方向，从而促进智能体间的协作；
3）几何感知奖励：引入了一种距离-角度耦合的势函数，该技术有效解决了奖励稀疏的问题。与传统奖励方案相比，在加入该奖励后训练过程的稳定性和收敛速度均得到显著加强。
1 相关工作
自现代计算机诞生以来，随着计算机技术的飞速发展，多机任务规划算法受到越来越多的关注，众多研究致力于开发高效可靠的自动化规划方法。现有任务规划方法主要可分为传统优化方法、启发式搜索方法和基于人工智能的方法，其中具有一定代表性的方法如下。
1.1 传统优化方法
1.2 启发式搜索
1.3 人工智能方法
总的来说，现有的飞机任务规划方法已取得显著成果，但在解决决策不一致性、多机规划协调以及复杂任务执行等方面仍存在不足。
2 分布式多机任务规划算法
2.1 场景描述
VM-Net网络将多机任务规划问题建模为离散部分可观测马尔可夫决策过程（Dec-POMDP），并将飞机建模为智能体，由元组G=〈S，A，P，R，Ω，O，n，γ〉定义。在该公式中：
1）n 代表智能体（飞行器）的数量；
2）S 描述所有飞机和环境配置的全局状态空间；
3）A 是联合动作空间。在每一个时间步t，每个智能体i∈{1，…，n}在动作${a}_{t}^{i}$∈A中选择一个特定的动作，组成联合动作at∈A；
4）P（st+1|st，at） 则代表状态转移函数；
5）R（st，at） 是所有智能体间共享的奖励函数，每个智能体根据其表现获得对应的奖励值rt；
6）Ω 是智能体观测值的集合，而由于局部可观限制，每个智能体都会收到一个与状态st相关的局部观测值${o}_{t}^{i}$∈Ω，也可以表示为${o}_{t}^{i}$=O（st，i）；
任务规划的目标是找到最优联合策略π，以最大化折扣回报J（π）=E[${\sum }_{t=0}^{\infty } $γtrt]，其中γ∈[0，1）为折扣因子。
此外，在仿真环境中还需要将实际环境和飞行器的物理限制作为约束加入到考虑当中，具体可归纳如下：
1）运动学约束：规划的飞行轨迹必须符合飞机的物理极限，包括最大速度、最小速度、最大转弯率和飞行包线；
2）环境约束：智能体必须避免与地形障碍物、静态禁飞区和动态高威胁区域发生碰撞；
3）任务约束：智能体必须完成特定的任务目标，例如同步攻击指定目标或在特定距离范围内保持编队。
2.2 VM-Net
VM-Net是一种基于演员-评论家框架的多智能体强化学习算法，采用集中式训练与分散式执行（CTDE）范式，同时为了确保可扩展性，网络参数在同构智能体之间共享。如图1所示，该架构包含两个主要组件：智能体级预测模块（VM-P）和值混合模块（VM-M）。VM-P由动作网络（骨干网络：MLP+GRU）和评价网络（骨干网络：MLP+I-GRU+Transformer）组成；VM-M完全由多层感知器（MLP）构成。在训练过程中，采用了动作掩码机制、策略熵正则化和优先级经验回放等技术来增强探索能力并加速收敛。
2.2.1 VM-P中的动作网络
对处于时间步t的第i个智能体，动作网络利用门控循环单元（GRU）处理历史观测序列〈${o}_{1}^{i}$，…，${o}_{t-1}^{i}$〉，该网络以当前局部观测值${o}_{t}^{i}$、前一个动作${a}_{t-1}^{i}$、任务指令${c}_{t}^{i}$和前一个隐藏状态${h}_{t-1}^{a}$作为输入，其前向动作决策过程如下：
1）首先，多层感知器（MLP）层从输入中提取特征嵌入；
2）接下来，GRU层将这些特征与历史隐藏状态${h}_{t-1}^{a}$融合，选择性地遗忘无关的历史信息，同时保留关键的时间依赖关系；
3）最后，第二个MLP层将GRU的输出映射到随机策略πi（·|${o}_{t}^{i}$），并且在执行过程中，对该策略应用Є-贪婪策略，以平衡探索并给出动作选择${a}_{t}^{i}$。
2.2.2 VM-P中的评价网络
对处于时间步t的第i个智能体，评价网络使用一种改进的GRU模块（I-GRU）来处理历史环境状态〈s1，…，st-1〉，并引入Transformer机制来整合智能体状态〈${s}_{t}^{1}$，…，${s}_{t}^{n}$〉，该网络以环境状态st、前一个隐藏状态${h}_{t-1}^{c}$和智能体动作at-1作为输入，其前向动作评价过程如下：
1）特征提取：初始MLP层处理当前全局状态st和前一步骤所有智能体的联合动作at-1，输出特征向量xt；
2）多时间步融合处理：如公式（1）所示，提出了一种改进GRU模块I-GRU，与普通GRU相比，I-GRU将候选隐藏状态${\stackrel{~}{h}}_{t}$更新为${\stackrel{~}{h}}_{tI}$，该模块在标准GRU的基础上引入了一种正则化机制R（xt），从而将当下状态的信息更多地引入到候选隐藏状态中，这是因为对抗场景下对实时性要求更高，当前状态信息对序列决策的正确性相比过去信息影响更大，增加的正则化信息增强了候选隐藏状态${\stackrel{~}{h}}_{tI}$与输入xt的联系，从而间接增强了隐藏状态${h}_{t}^{c}$与输入xt的联系，能够将历史与当前信息更多地融入到输入当中进行更全面的考虑。公式中rt为重置门参数，zt为更新门参数，Wh，bh为网络可学习参数，均与标准GRU中定义一致，而Whx为正则化机制中的可学习参数，用于对当前输入xt进行处理和信息提取，Wy，by则是用于预测中间态输出的可学习参数，进而得到中间态输出yt。
$\left\{\begin{array}{l}{\stackrel{~}{h}}_{t}=tanh ({W}_{h}·[{r}_{t}☉{h}_{t-1}^{c},{x}_{t}]+{b}_{h}\\ {\stackrel{~}{h}}_{tI}=tanh ({W}_{h}·[{r}_{t}☉{h}_{t-1}^{c},{x}_{t}]+R({x}_{t})+{b}_{h})\\ R\left({x}_{t}\right)={W}_{hx}·{x}_{t}\\ {h}_{t}^{c}=(1-{z}_{t})☉{h}_{t-1}^{c}+{z}_{t}☉{\stackrel{~}{h}}_{tI}\\ {y}_{t}={W}_{y}·{h}_{t}^{c}+{b}_{y}\end{array}\right.$
同时，I-GRU中也采用了分层嵌套结构，能够并行处理单个时间步内的多个智能体动作、观测，和不同时间步间相同智能体的连续化动作，实现网络在评价时同时考虑每个智能体在每个时间步的动作和观测，从而推导得到智能体动作之间的联系，也就能够在评价时考虑智能体间的协同情况，并将处理的结果，即中间态yt输入到Transformer模块；
3）全局动作评价：Transformer模块将I-GRU的输出yt与所有智能体的当前状态〈${s}_{t}^{1}$，…，${s}_{t}^{n}$〉进行融合，更多地关注同一时间步t中的多个智能体之间的动作决策协同能力。该模块通过将所有智能体的状态以目标嵌入的形式与yt进行融合得到〈${s}_{t}^{1}$+yt，…，${s}_{t}^{n}$+yt〉，从而使用自注意力机制对单个智能体状态与全局环境之间的耦合进行建模，并使用Transformer中提出的前馈神经网络对耦合后的信息进行深度提炼。最后，经过MLP层后，网络给出对智能体的动作状态值qi（st，at）和状态值vi（st）评价。
2.2.3 VM-M
值混合模块作为一种由MLP组成的评价混合网络，主要用于给出联合价值函数以对全局智能体的动作决策进行统一评估。该模块以全部智能体动作-状态值集合{q1（st，at），…，qn（st，at）}和状态值集合{v1（st），…，vn（st）}作为输入，生成全局联合动作-状态值Q（st，at）和联合状态值V（st）。同时，值混合模块遵循QMIX[45]中对于值混合方式的约束，使用超网络生成非负权重（通过绝对值运算），确保联合值满足单调性约束：∂Q/∂qi≥0，这种方式满足了局部最优和全局最优间的统一性，使得单一智能体在进行动作决策时只需了解自身周围情况而不需要获取全局观测即可做出最正确动作选择。
2.2.4 几何感知奖励
为了快速流畅地训练智能体，设计了一种几何感知奖励机制，该机制由稀疏奖励和稠密奖励组成。该奖励机制包含三个部分：Rattack、Rwin和Rdis-angle。Rattack是击落目标飞机的奖励，Rwin是完成指令的奖励，Rdis-angle是接近目标的奖励。具体的奖励定义如公式（2）-公式（9）所示。
Rattack=Nattack*5
Rwin=（Nred-Nblue）*5
${R}_{dis-angle}={\sum }_{i=1}^{n}（\alpha *{\Phi }_{distance}^{i}+\beta *{\Phi }_{angle}^{i}）$
${\Phi }_{distance}^{i}$=min （dist（${P}_{R}^{i}$，${P}_{B}^{j}$））
${\Phi }_{angle}^{i}$=min （abs（diff（${A}_{R}^{i}$，${A}_{R，B}^{i}$）））
${\Phi }_{distance}^{i}$=rattack-min （dist（${P}_{R}^{i}$，${P}_{B}^{j}$））
${\Phi }_{angle}^{i}$=aattack-min （abs（diff（${A}_{R}^{i}$，${A}_{R，B}^{i}$）））
Ri=Rattack+Rwin+Rdis-angle
在上述几何感知奖励公式中，Nattack代表被击落的目标飞机数量，Nred是我方剩余飞机数量，Nblue是目标剩余飞机数量，${\Phi }_{distance}^{i}$是距离势函数，${\Phi }_{angle}^{i}$是角度势函数，${P}_{R}^{i}$是智能体实时位置，${P}_{B}^{j}$是目标飞行器位置，${A}_{R}^{i}$是我方智能体飞行方向，${A}_{R，B}^{i}$是我方智能体视角下某一目标所在角度，rattack是我方智能体打击距离范围，aattack是我方智能体打击角度范围，dist（${P}_{R}^{i}$，${P}_{B}^{j}$）为我方智能体距离某一个目标之间的距离，随着距离减小，目标将进入到我方智能体打击范围之内；diff（${A}_{R}^{i}$，${A}_{R，B}^{i}$）为我方智能体朝向角和目标角度差，随着角度差减小，我方打击精度和成功率将会逐步提高；α，β是势函数系数，会随着我方飞行器和目标的距离和相对方位角变化而发生变化，也将对${\Phi }_{distance}^{i}$和${\Phi }_{angle}^{i}$计算产生影响，其具体变化方式如下所示：
1）打击范围外：处在此状态的智能体攻击范围内尚未有对方单位，此时奖励函数的目的在于使智能体更快地到达待执行任务所在地附近，因此权重α，β均为较小的负数（-0.25），以负奖励的方式加速收敛，快速度过收敛初期阶段，此时势函数使用公式（5）和（6）的形式；
2）对方在我方打击范围内：处在此状态的智能体不在对方打击范围，但对方在我方打击范围，呈现出较为理想的态势，因此权重α，β均为较大的正数（1），鼓励网络向这个方向进行学习，此时势函数使用公式（7）和（8）的形式，即鼓励智能体在距离目标单位更近和以更准确角度进行打击；
3）我方在对方打击范围内：处在此状态的某一智能体在对方打击范围，但对方不在我方打击范围，呈现出较大劣势，因此权重α，β均为较大的负数（-1），避免网络进一步向这个方向进行学习，此时势函数使用公式（7）和（8）的形式，距离目标越近、角度差越小，则给出更多的负奖励；
4）都在打击范围内：处在此状态的双方都可进行攻击，但此时我方面临被击落风险，因此权重α均为中等的负数（-0.5），β为中等的正数（0.5），逐步让网络过渡到2）的情况，即实现对方在我方打击范围内，我方不在对方打击范围内，此时势函数使用公式（7）和（8）的形式。
2.3 网络实现细节
2.3.1 训练方法
在进行网络参数优化迭代时，分别计算动作网络和评价网络的损失，进而使用Adam[46]损失函数对动作网络和评价网络进行优化，此种对两类网络进行协同优化的方式能够确保学习到的策略与全局目标保持一致，从而显著提高大规模异构任务场景下的规划精度，优化方法如公式（10）-公式（12）所示。
Q*（st，at）=Rt+γ×V（st）
${L}_{t}^{critic}$=（Q（st，at）-Q*（st，at））2
${L}_{t}^{actor}$=-$\frac{1}{n}$V（st）
在上述公式中，Q*（st，at）代表联合动作-状态值函数的期望最大值，Rt为t时间步下的奖励值，${L}_{t}^{critic}$为t时间步下的评价网络损失，${L}_{t}^{actor}$为t时间步下的动作网络损失。
2.3.2 策略熵奖励正则
在动态任务规划的对抗环境中，目标阵型随机变化，飞行器间的大规模协同需要多样化策略。为防止过早收敛到局部最优解并增强探索能力，将最大策略熵正则引入奖励函数计算当中，以增加网络的探索和鲁棒能力。
与仅最大化累积奖励的传统强化学习不同，VM-Net将几何感知奖励与策略熵奖励进行结合，从而在网络探索到较大的奖励时仍具备探索能力，避免陷入局部最优。
在实现中，具体为每个智能体引入一个独立的熵项H（π（·|st）），并通过一个可学习的温度参数ϕ进行熵加权。在训练过程中，策略熵在每个时间步计算，并对所有智能体取平均值，并将该熵值作为内在奖励添加到外部奖励中，奖励R'i计算方式如公式（13）所示。
$R\text{'}{ }_{i}={R}_{i}+\varphi *\frac{1}{n}{\sum }_{i=1}^{n}H（{\pi }_{i}（·|{o}_{t}^{i}））$
这种奖励计算机制鼓励智能体在最优策略不确定时保持随机探索能力，从而显著提高在复杂的多智能体场景中的泛化能力。
2.3.3 动作掩码
为了满足强物理约束下（边界、禁飞区）飞行器的合法动作，并缓解因过大的负惩罚奖励而导致的训练不稳定性，采用了一种动作掩码机制。
如图2所示，掩码机制用于在训练和执行过程中将无效动作排除在决策过程之外。具体来说，掩码机制作用于激活层之前的策略输出${\pi }_{t}^{i}$，无效动作对应的输出结果被设置为负无穷大（-∞），在经过SoftMax归一化之后，这些动作决策被选择的概率则变为零（e-∞→0），直接避免网络学习这些极限情况决策所需的大量时间和较大的网络波动。同时，在评价网络中，无效动作所对应的状态值函数估计${V}_{t}^{i}$将会被一个较大的负常数掩码所覆盖，以防止值混合模块选择这些不可行轨迹，从而稳定梯度下降过程。
2.3.4 基于TD误差的优先回放机制
为了解决复杂对抗场景中的长尾现象，提升网络对于小规模复杂场景的处理能力，提出了一种基于TD误差的优先级经验回放方法（TD-PER）。与基于奖励的优先级经验回放方法（R-PER）相比，TD-PER能够更准确地评估算法在特定经验下的处理能力。TD-PER设计了评价经验学习难易程度的标准量δs，能够对算法对某一条历史序列的处理能力进行量化，从而拓宽算法支持的环境和场景，提高算法的泛化性，其计算方式如式（14）所示。
$\left\{\begin{array}{l}{\delta }_{s}=abs\left(Q\right(S,A)-{Q}^{*}(S,A\left)\right)\\ {Q}^{*}(S,A)=R\text{'}{ }_{i}+\gamma V\left(S\right)\end{array}\right.$
其中：Q（S，A）和V（S）分别代表单一时间步t下的动作-状态值和全部时间步上的状态值；δs则表示某一个序列s的权重，序列权重越高，则该序列选中并被用于网络优化学习的概率则越大；而Q*（S，A）则使用带策略熵的奖励值进行表示。
基于此，设计了一种基于整序列TD误差的非均匀抽样机制，具有权重δs的样本的抽样概率如下所示：
pj∝δs+Є
其中：Є是一个很小的正常数，能够防止抽样概率接近零，从而保证所有样本都以非零的概率被抽到。此种抽样方式可以保证网络对较难以学习的样本具有较高的抽样概率，进而提高网络的收敛速度，并使得网络在收敛时可以达到更高的平均回报。
3 实验
3.1 任务场景介绍
为方便分析与研究，本文将对抗环境进行抽象和简化，将对抗场景中的重要部分进行抽离和表示，并依据不同任务类型设定不同初始状态和目标。如图3所示，在对所使用的仿真平台进行抽象后，所涉及到的仿真要素主要包括多种我方飞行器、多种对方飞行器、危险区域、任务区域等。
3.1.1 仿真平台
实验所使用的仿真平台及论文中的所有实验均在“虚拟对抗支持环境（VASE）”仿真平台上进行实现，这是一个高保真实时仿真平台，专为多智能体任务规划和性能评估而设计。平台内置可调整任务执行规则的飞行器，所有对方及目标飞行器均为仿真平台通过规则进行控制。
同时，由于射击和躲避作为战术型动作在实际中一般由飞行员自行决定，所提出的强化学习方法并未对射击指令进行控制，而是交由仿真平台的内置规则执行。具体而言，当我方智能体和目标飞行器范围内存在可打击对方单位时，均会根据规则自动打击，直至发射完毕所有弹药；当有对方攻击来袭时，也会根据规则进行自主躲避。
3.1.2 我方飞行器
作为算法控制的主体，在不同任务重数量由2变化到12，每个飞行器具有探测、打击、躲避能力，探测能力使飞行器具备探测对方目标和威胁区域，打击能力使飞行器在弹药耗尽前可以对目标进行打击，躲避能力使飞行器具有一定概率躲避对方打击。同时，考虑到飞行器的实际物理性能，对飞行器的最大转弯角度和飞行速度做出了限制，限制范围与前文rattack和aattack保持一致。
3.1.3 目标飞行器
对称和非对称任务中，目标飞行器均由规则进行自动控制，并且也具有探测、打击、躲避能力，且由规则进行控制从而在不同任务中执行不同的逻辑动作，目标飞行器物理性能由仿真平台内嵌算法进行计算。其中，为保持公平，目标飞行器探测能力、打击能力、躲避能力与我方飞行器均相同。
3.1.4 危险区域
即我方飞行器智能体在执行任务时需要避开的区域，一般分为由对方单位造成的高威胁区域和由仿真环境或特殊要求生成的禁飞区等。我方智能体一旦进入高威胁区域则有极大概率被击落，但仍然可以进入，进入后不会视为被击落；禁飞区一般为对方高威胁单位所覆盖的区域，完全不允许进入，一旦进入则会视为被击落，单独智能体的被击落不会导致任务失败，只有所有智能体均被击落后才会被导致任务失败。
3.1.5 任务区域
我方飞行器智能体可活动或进行任务的最大范围，一旦智能体飞出该区域则视为智能体被击落。同时，为减少智能体飞出任务区域的概率并加速训练，在智能体探测读数中任务区域外界同样视为禁飞区，而任务失败的判定方法同危险区域，任务区域在所有对称和非对称多机任务中都为相同大小，为1000km×1000km的区域。
3.1.6 任务类型
任务包括对称对抗任务和非对称对抗任务，包括2v2、4v4、8v8、12v12共4类对称对抗任务和4v8、6v24共2类非对称对抗任务，从而对算法的有效性、先进性进行验证。其中对称对抗任务中双方使用相同类型飞行器，我方飞行器智能体击落所有目标时判定我方获胜；非对称对抗任务中也使用相同类型飞行器，我方智能体绕过对方保护击落所有预定高价值目标后判定我方获胜。
3.2 消融实验
3.2.1 智能体动作设计
在所有对称对抗和非对称对抗任务中，我方智能体动作空间D（A）均由包括飞行距离Ad、转弯角度Aa、飞行高度Ah、飞行速度Am、原地不动As及无操作Anan共6个部分组成，每个部分均为离散动作，详情如表1所示。
表1 动作空间类型Table 1 Action space types |
| 序号 | 动作类型 | 动作范围 |
|---|---|---|
| 1 | 飞行距离（km） | 0，0.01，0.03，0.05 |
| 2 | 转弯角度（°） | -0.25，-0.1667，-0.0833，0， 0.0833，0.1667，0.25 |
| 3 | 飞行高度 | 巡航，突围 |
| 4 | 飞行速度 | 巡航，突围 |
| 5 | 原地不动 | 0，1 |
| 6 | 无操作 | 0，1 |
具体而言，飞行距离为4个离散的量，包括四种不同的飞行距离；转弯角度为7个离散的量，代表在[-45°，45°]范围内离散的7个飞机朝向变化量；飞行高度和飞行速度均为2个离散的量，分别代表巡逻高度/速度和突围高度/速度；原地不动和无操作都为不采取任何行动，原地不动对应未被击落智能体，无操作对应已被击落的智能体。
3.2.2 智能体观测空间设计
智能体观测空间D（O）即我方飞行器获取的自身及外部环境状态，包括自身状态信息Os、侦察探测信息Od、可靠通信范围内友方信息Of，并与任务指令信息Ot拼接后作为输入，供算法进行决策，所有信息的获取均不受到网络制约，在后续实验中不考虑通信延迟对算法的影响。
表2 观测空间类型Table 2 Observation space types |
| 序号 | 观测类型 | 观测范围 |
|---|---|---|
| 1 | Os | [0，1]（相对位置、剩余弹药） [-1，1]（机头朝向） |
| 2 | Od | [0，1]（相对距离） [-1，1]（相对角度） |
| 3 | Of | [-1，1]（相对位置差、相对距离差、 相对角度差） [0，1]（友方剩余弹药） [-1，1]（友方机头朝向） |
| 4 | Ot | One-hot编码（任务类型、目标编号） |
3.2.3 目标飞行器策略
面向对称对抗任务和非对称对抗任务，设计两种目标飞行器行动策略。对称对抗任务中，目标飞行器在固定区域内随机巡航，在发现可打击对象（我方智能体）时将向其移动，如发现多个可打击对象，则根据就近原则进行移动。
非对称对抗任务中，目标为2-6架高价值飞行器，其他飞行器为护航单位，并呈扇形在较大的区域中进行防御，在发现来袭对象（我方智能体）时将向其移动，如发现多个可打击对象，则根据就近原则进行移动，同时目标飞行器将延反方向以较慢的速度（约我方智能体速度五分之一）进行逃离。
3.2.4 网络运行环境
表3 主要训练参数Table 3 Main training parameters |
| 序号 | 种类 | 参数 |
|---|---|---|
| 1 | GPU（训练） | NVIDIA A100 |
| 2 | CPU（训练） | Intel Xeon 6258R |
| 3 | GPU（推理） | NVIDIA 1660Ti |
| 4 | CPU（推理） | Intel Core i5 |
| 5 | 学习率 | 3×10-4（3×10-5，3×10-6） |
| 6 | 批大小 | 64 |
3.2.5 消融结果分析
为了验证每个单一创新点对最终结果所产生的贡献，对8v8（对称）和6v24（非对称）任务进行了消融实验。如图4所示，评估了三个主要创新点和一个主要改进对整体奖励和平均胜率的影响，一是改进GRU模块I-GRU，二是使用时空推理的新型架构，三是值混合模块，四是几何感知奖励，实验结果分析如下：
1）不采用改进GRU模块I-GRU：去除改进I-GRU模块将导致算法在训练的全过程中出现性能下降，这种影响将会直接体现在胜率和奖励指标，其中胜率在8v8和6v24中分别下降约9.4%和11.3%，奖励下降约14.6%和23.5%。主要原因为对抗场景任务的当前状态对决策影响比重高于历史状态，使用正则化机制增强当前状态在GRU模块中的决策占比，将会帮助算法给出更有利的动作选择，去除后将导致算法做出最有利决策的概率下降，导致收敛后的最高性能出现下降；
2）不采用支持时空推理的新型架构：移除时空推理架构会导致胜率和奖励曲线显著下降，其中胜率在8v8和6v24中分别下降约24.2%和29.7%，奖励下降约29.1%和40.1%，这种性能下降是由于模型无法捕捉长期时间依赖性且无法在进行动作决策时考虑智能体的历史动作，难以有效执行如“绕飞”、“分头行动”等需要多个时间步决策协同完成的技术动作。进一步分析表明，缺少历史信息的智能体多次出现路径规划与打击目标错误，导致协同攻击成功率大幅下降；
3）不采用值混合模块：删除值混合模块将会对奖励和胜率造成较大的降低，其中胜率在8v8和6v24中分别下降约16.7%和19.3%，奖励下降约11.5%和17.7%，这是因为值混合模块能够将不同智能体的决策进行综合考虑，去掉后智能体在更需要协同的复杂任务（如非对称6v24）难以进行有效协同，无法执行如“分配目标—协同打击”类复杂动作；
4）不采用几何感知奖励：直接使用按照任务执行的最终结果进行评判的单一损失函数，将会导致网络的最高性能出现下降，主要原因为智能体在稀疏的环境奖励中更难以明确优化方向，从而导致收敛效果变差。
通过消融实验，证实了所提出的每一项创新点对于提升VM-Net的性能都起到了正向作用，它们通过为当前步分配更多决策权重、提高算法对长时间步决策下的处理能力、增加智能体间的协作能力和利用更稠密和更适配任务场景的奖励明确网络优化方向来实现网络性能的有效提升。
3.3 不同场景下VM-Net性能表现
本文设计四种不同的典型场景来验证VM-Net的有效性，包括对称（8v8、12v12）对抗任务和非对称（4v8、6v24）对抗任务。
如图5所示，给出了每种场景的平均奖励，这些结果表明VM-Net在各种典型场景中均表现出色，能够在相对较短的轮数内实现收敛，并保持良好的收敛特性，也证明所提出的VM-Net在不同场景下具有很强的适应性和鲁棒性。
3.4 不同典型算法性能对比
为了证明VM-Net的良好性能，将VM-Net与其他在多机任务规划中常用的深度强化学习算法进行性能对比实验，这些常用算法包括SAC、MAPPO和QMIX，这些算法均为在实际应用中最为广泛的典型方法。具体的，将此四种算法在多个场景中进行性能对比，包括对称（8v8、12v12）对抗任务和非对称（4v8、6v24）对抗任务，同时为了确保算法间的公平对比，所有基准算法都采用了相同的动作掩码机制和优先经验回放，仅在时空推理新型架构（包括VM-P中的动作网络和决策网络）、值混合模块（VM-M）、几何感知奖励三个方面上有所不同。
3.4.1 不同算法收敛性分析
如图6（a）所示，与基线方法在训练后期因协调困难而出现性能下降和不稳定不同，VM-Net在训练过程中展现出更快速的收敛性，并在训练后期能够保持较好的训练结果稳定性。这是因为VM-M模块的状态值融合分解使个体策略更新始终与全局目标方向一致，避免了QMIX在非单调场景下的策略震荡；而几何感知奖励为智能体提供了连续的局部反馈，相较于SAC、MAPPO的稀疏奖励，显著降低了值函数估计的方差。
因此，该结果表明所提出的时空推理新型架构与值混合模块有效地缓解了复杂多智能体训练过程中经常出现的不稳定情况。
3.4.2 不同算法胜率分析
如图6（b）所示，VM-Net在所有场景中均展现出较高的胜率表现。在对称场景中，VM-Net在8v8和12v12任务中分别取得了88%和80%的胜率；在非对称场景中，VM-Net 在4v8场景中取得接近全胜的96%胜率，即使在极其复杂且差异巨大的6v24拦截任务中，VM-Net仍然保持着接近90%的胜率。
这些结果验证了VM-Net不仅在标准对抗任务中表现出色，而且还具有很强的可扩展性和泛化能力，即使在大规模、非对称任务中也能保持较高的决策精度。
3.5 不同场景下仿真结果
如图7所示，基于VASE仿真平台，展示了不同任务下的对抗场景仿真结果，包括12v12对称对抗任务、4v8非对称对抗任务和6v24非对称对抗任务。在VASE仿真平台下的实际验证表明，智能体在12v12对称对抗任务场景中表现出“集群分散—以多打少—两面夹击”的协同策略，在4v8非对称对抗任务场景中表现出“确定目标—绕开危险—协同打击”的任务策略，在6v24非对称对抗任务场景中表现出“防线分析—中央突破—分散打击”的执行方式，证明了VM-Net对不同任务场景的高度适应性和算法自身的鲁棒性。
在这些任务中，智能体的行为并非预设规则，而是VM-Net在改进GRU模块I-GRU、基于时空推理的新型架构、值混合模块和几何感知稠密奖励引导下的所自组织而涌现出的结果。“两面夹击”、“协同打击”、“中央突破”等实际行为有效展现了在不同任务中VM-P模块长时间多步动作决策能力、VM-M模块对智能体间协同能力的促进作用和稠密奖励与熵正则激励对智能体在不确定环境下的适应性提升，表明VM-Net不仅实现了高胜率的多机任务规划，还具备策略可解释性的潜力。
3.5.1 对称12v12对抗任务
在对称场景中，智能体会自动识别对手的部署位置，并自动识别其部署方案中存在的弱点并发起有针对性的攻击，从而通过利用这些弱点取得胜利。如图7（a）所示，智能体采用（1）集群分散、（2）以多打少、（3）两面夹击的行动方式，先分析得到对手以两个主要区域进行部署，之后分为两部分集群，先以多打少击败一部分目标，最后通过两面夹击成功获得12v12对称对抗任务胜利。
3.5.2 非对称4v8对抗任务
在小规模非对称场景中，智能体能够感知并避开危险区域，分成两组同时抵达目标区域，执行协同钳形攻势，以最小成本完成任务。如图7（b）所示，智能体采用（1）确定目标、（2）绕开危险、（3）协同打击的行动方式，先确定对手主要危险源，并采用最小路径绕开危险区域，并以兵分两路的形式对目标进行打击。
3.5.3 非对称6v24对抗任务
在大规模非对称场景中，智能体可以动态地为位于不同位置的目标分配攻击顺序，且能够在面对无法绕开风险的场景中，自主计算敌军防御中的可突破位置并自主决策是否突破以一定代价突破封锁（弹药减少/智能体损失），从而确保能够完成任务，这种以群体任务为核心的决策方式，验证了本文多个创新点所带来的长程决策分析和协同决策能力。如图7（c）所示，智能体采用（1）防线分析、（2）中央突破、（3）分散打击的行动方式，在完成对目标防线的分析和突破点定位后，执行集群突破，并在突破后分散快速打击处在不同位置的目标飞行器，从而在最短时间和最小损失下完成目标任务。
4 结论
VM-Net针对多智能体强化学习的两大难题——长程信用分配与多机协同规划，提出了一种支持场景泛化的CTDE框架。该框架的核心贡献体现在三个方面：I-GRU与自注意力的融合证明了局部观测下的多时间步长程综合考虑后进行决策对胜率和奖励提升的决定性作用；值函数混合模块则验证了状态值函数混合分解对异构非对称场景下多智能体协同能力的促进作用；而几何感知奖励则有效解决奖励稀疏所导致的训练初期收敛速度慢和训练末期稳定差问题。
同时，也在高保真仿真环境中进行了大量的实验，实验结果表明，VM-Net在同一场景下的平均回报和不同场景下的平均胜率上均优于常用的基线模型（SAC、MAPPO、QMIX），并在对称对抗任务（8v8、12v12）到非对称拦截任务（6v24）等各种场景下均保持了较高的鲁棒性和决策效率。值得注意的是，VM-Net在各个场景中均保持超过80%胜率的同时，也实现了实时推理（单时间步推理时间小于20ms），验证了其在动态任务环境中实际部署的潜力。
VM-Net网络重点讨论了复杂多类场景下大规模多机任务规划问题，但未对智能体射击、机动躲避等动作进行强化学习决策。未来的工作中，计划一是融合多层级动作进行分层级决策，二是使VM-Net能够同时处理无人机和有人机所组成的异构智能体系统所面临的协同任务规划问题，三是需要将仿真结果迁移至实际硬件平台，实现该算法在真实环境约束下进行性能边界测试。