基于宏动作的多智能体指令遵循：价值取消方法

arXiv cs.AI 论文
multi-agent reinforcement-learning instruction-following macro-action value-correction marl compliance

摘要

提出MAVIC，一种多智能体强化学习方法，在指令边界修正价值估计，以在遵循外部自然语言指令的同时保持基础任务性能。

arXiv:2605.12655v1 公告类型：新 摘要：实际应用中的多智能体强化学习（MARL）可能需要适应外部自然语言指令，这些指令会中断当前行为并与长期目标冲突。然而，基于指令的条件奖励引入了根本性失效模式，因为贝尔曼更新跨指令上下文耦合了值估计，导致指令中断宏动作时值不一致。我们提出了宏动作值修正的指令遵循方法（MAVIC），该方法通过修正传入指令目标并恢复当前目标下的延续值，在指令边界处修正贝尔曼备份。与奖励塑造不同，MAVIC修改了引导目标本身，从而在统一策略下实现随机指令切换时的一致值估计。我们提供了理论分析和演员-评论家实现，并展示了MAVIC在日益复杂的协作多智能体环境中，在保持基础任务性能的同时实现了高指令遵循率。
查看原文
查看缓存全文

缓存时间: 2026/05/14 06:13 

# 基于宏动作的多智能体指令遵循：通过值消除实现
来源: https://arxiv.org/abs/2605.12655
查看 PDF (https://arxiv.org/pdf/2605.12655)

> **摘要:** 现实应用中的多智能体强化学习（MARL）可能需要适应外部自然语言指令，这些指令会中断正在进行的动作，并与长期目标产生冲突。然而，将奖励条件化于指令会引发一个基本的失败模式——贝尔曼更新会耦合不同指令上下文下的值估计，导致指令中断宏动作时出现不一致的值。我们提出用于指令遵从的宏动作值纠正方法（MAVIC），该方法在指令边界处通过纠正传入指令目标并恢复当前目标下的延续值来修正贝尔曼回溯。与奖励塑造不同，MAVIC修改了引导目标本身，从而在统一策略下实现随机指令切换时一致的值估计。我们提供了理论分析和演员-评论家实现，并展示MAVIC在日益复杂的协作多智能体环境中能够保持基础任务性能的同时实现高指令遵循率。

## 提交历史

来自：Wo Wei Lin [查看邮箱 (https://arxiv.org/show-email/e97b481f/2605.12655)] **[v1]** 2026年5月12日 星期二 19:01:16 UTC (356 KB)

相似文章

通过多层组合融合实现情境价值对齐

arXiv cs.AI

本文提出了MCF-CVA，一种用于大型语言模型情境价值对齐的多层组合融合框架，该框架利用多个道德智能体以及扩展-约简过程来更好地捕捉伦理多元主义，并优于单智能体基线方法。