AgentSafeEvo：面向 LLM 智能体安全的对抗协同进化

Hugging Face Daily Papers 2026/10/14 00:00 论文

llm-agents safety adversarial-attacks reinforcement-learning tool-use co-evolution jailbreak

摘要

AgentSafeEvo 提出一种基于攻防博弈的对抗协同进化强化学习框架，联合训练攻击者与防御者 LLM 智能体，以提升多轮工具调用场景下的安全性，同时保持通用能力不下降。作者在七个安全与能力基准上进行了评测，并开源了代码、模型和数据集。

大语言模型（LLM）智能体通过与外部工具进行多轮交互来完成复杂任务。然而，嵌入在用户查询、工具描述或环境观测中的恶意内容可能操纵其决策，并诱导其执行不安全的操作。对抗协同进化已成为增强 LLM 安全性的有效方法，但现有工作主要关注语言层面的安全性或 Web 任务中的间接提示注入。本文提出了 AgentSafeEvo，这是一个面向智能体安全的协同进化强化学习框架，其基础是一个涵盖多样任务与攻击类型的攻防博弈。攻击者学习构造对抗性智能体任务，以暴露防御者在工具使用上的弱点；防御者则学习在这些攻击下安全地完成任务。我们进一步引入了可学习性引导的任务加权机制，利用任务内防御者奖励的波动性来调整每个任务对攻击者和防御者更新的贡献。在智能体安全基准和通用能力基准上的大量实验表明，我们的方法在提升对抗鲁棒性的同时保持了通用智能体能力。

查看原文

查看缓存全文

缓存时间: 2026/10/15 10:58

论文页面 - AgentSafeEvo：面向 LLM 智能体安全的对抗性协同进化

来源：https://huggingface.co/papers/2610.19422 https://huggingface.co/login?next=%2Fpapers%2F2610.19422-

摘要

AgentSafeEvo 通过对抗性协同进化来训练 LLM 智能体，使其在多样化的任务中抵御恶意工具调用攻击，同时不牺牲通用能力。

大语言模型（LLM）智能体通过与外部工具进行多轮交互 (https://huggingface.co/papers?q=multi-turn%20interactions) 来完成复杂任务。然而，嵌入在用户查询、工具描述或环境观察中的恶意内容可能操纵其决策并诱导不安全的行为。对抗性协同进化 (https://huggingface.co/papers?q=Adversarial%20co-evolution) 已成为增强 LLM 安全性的有效方法，但现有研究主要关注语言层面的安全性或网页任务中的间接提示注入。本文提出了 AgentSafeEvo，一个基于攻击者-防御者博弈 (https://huggingface.co/papers?q=attacker-defender%20game) 的协同进化强化学习 (https://huggingface.co/papers?q=reinforcement%20learning) 框架，用于智能体安全，涵盖多样化的任务和攻击类型。攻击者学习构建对抗性智能体任务以暴露防御者在工具使用中的弱点，而防御者学习在这些攻击下安全地完成任务。我们进一步引入了可学习性引导的任务加权 (https://huggingface.co/papers?q=learnability-guided%20task%20weighting) 机制，利用任务内防御者奖励的变异性来调整每个任务对攻击者和防御者更新的贡献。在智能体安全基准和通用能力基准上的大量实验表明，我们的方法在提升对抗鲁棒性 (https://huggingface.co/papers?q=adversarial%20robustness) 的同时保持了通用的智能体能力。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19422) 查看 PDF (https://arxiv.org/pdf/2610.19422) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19422)

社区

论文作者

论文提交者

约 3 小时前 (https://huggingface.co/papers/2610.19422#6ad08835a7cf62369eddd37b)

大家好，我是 AgentSafeEvo 的作者之一。我们提出了一个对抗性协同进化框架，联合训练攻击者和防御者 LLM 智能体，以实现更安全的多轮工具调用。我们在七个安全与能力基准上进行了评估，并开源了代码、模型和数据集以支持进一步研究：https://github.com/lalalamdbf/AgentSafeEvo。

通过拖入文本输入框、粘贴或点击此处上传图片、音频和视频。

点击或粘贴此处上传图片

https://huggingface.co/login?next=%2Fpapers%2F2610.19422-

引用本文的模型 3

lalalamdbf/AgentSafeEvo-Defender-Qwen3-8B 文本生成• 8B• 更新于约 3 小时前 • 8 (https://huggingface.co/lalalamdbf/AgentSafeEvo-Defender-Qwen3-8B)

lalalamdbf/AgentSafeEvo-Attacker-Qwen3-8B-RL 文本生成• 8B• 更新于约 3 小时前 • 4 (https://huggingface.co/lalalamdbf/AgentSafeEvo-Attacker-Qwen3-8B-RL)

lalalamdbf/AgentSafeEvo-Attacker-Qwen3-8B-SFT 文本生成• 8B• 更新于约 3 小时前 • 7 (https://huggingface.co/lalalamdbf/AgentSafeEvo-Attacker-Qwen3-8B-SFT)

引用本文的数据集 1

lalalamdbf/AgentSafeEvo-Attacker-SFT-Data 查看器• 更新于约 3 小时前 • 20.3k • 28 (https://huggingface.co/datasets/lalalamdbf/AgentSafeEvo-Attacker-SFT-Data)

引用本文的 Space 0

暂无 Space 关联本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.19422 即可从本页面链接过去。

包含本文的收藏夹 1

相似文章

Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents

arXiv cs.AI

This paper introduces SkillMisevo-Gym and SkillMisevo-Bench to study how self-improving LLM agents can evolve unsafe skills from compromised experience, plus SafeEvolve as a mitigation wrapper. Experiments across 25 agent-method configurations show skill misevolution is widespread and can persist across sessions, though SafeEvolve reduces fresh-session harm significantly.