大型语言模型的信息论对抗训练

arXiv cs.LG 论文
adversarial-training llm-robustness information-theory alignment arxiv-preprint

摘要

本文介绍了 WARDEN，一种用于大型语言模型的分布鲁棒对抗训练框架。该框架利用 f-散度动态调整对抗样本的权重，在显著降低攻击成功率的同时保持了计算效率。

arXiv:2605.05415v1 公告类型：新论文 摘要：尽管在对齐和安全方面取得了进展，大型语言模型（LLMs）仍然容易受到对抗性提示的攻击，面对新颖的攻击策略时，往往表现出有害行为。虽然对抗训练可以提高模型的鲁棒性，但现有的方法计算成本高昂且难以扩展。最近的连续对抗训练方法，如连续对抗训练（CAT）和连续对抗偏好优化（CAPO），通过在嵌入空间利用基于梯度的扰动来应对这一挑战，实现了更高效且更具表现力的攻击。基于这一范式，我们提出了 WARDEN，一种面向大型语言模型的分布鲁棒对抗训练框架。该框架通过在经验训练分布周围的 f-散度模糊集上动态重新加权对抗样本来工作。我们的方法优化了经验数据分布周围发散球内的最坏情况对抗损失，从而自动强调更难处理的对抗样本。利用凸对偶公式，在 KL 散度下，目标函数简化为 log-sum-exp 形式，并由一个动态参数控制重新加权的强度。本研究引领了一类新的信息论目标，在保持模型效用的同时，显著降低了攻击成功率。在多种大型语言模型和攻击设置下，WARDEN 大幅降低了攻击成功率，其计算成本和效用成本与基于 CAT、CAPO 和 MixAT 的基线方法相当，使其成为可扩展鲁棒对齐的一种实用方法。
查看原文
查看缓存全文

缓存时间: 2026/05/08 07:19 

# 大型语言模型的信息论对抗性训练
来源：https://arxiv.org/abs/2605.05415
查看 PDF (https://arxiv.org/pdf/2605.05415)

> 摘要：尽管在对齐和安全方面取得了进展，大型语言模型（LLMs）仍易受对抗性提示的攻击，经常在新型攻击策略下表现出有害行为。虽然对抗性训练可以提高模型的鲁棒性，但现有的方法计算成本高昂且难以扩展。最近的连续对抗性训练方法，如连续对抗性训练（CAT）和连续对抗性偏好优化（CAPO），通过利用嵌入空间中的基于梯度的扰动来解决这一挑战，从而实现更高效和更具表现力的攻击。基于这一范式，我们提出了 WARDEN，这是一种面向 LLM 的分布鲁棒对抗性训练框架，通过围绕经验训练分布的 f-散度模糊集动态重新加权对抗性样本。我们的方法在围绕经验数据分布的散度球内优化最坏情况下的对抗性损失，自动强调更困难的对抗性样本。利用凸对偶公式，在 KL 散度下，目标函数简化为对数-和-指数（log-sum-exp）形式，并通过一个动态参数控制重新加权的强度。这项研究导致了一类新的信息论目标，这些目标在保持模型效用的同时显著降低了攻击成功率。在多种 LLM 和攻击设置下，WARDEN 大幅降低了攻击成功率，其计算成本和效用成本与基于 CAT、CAPO 和 MixAT 的基线方法相当，使其成为可扩展鲁棒对齐的实用方法。

## 提交历史

来自：Yiwei Zhang [查看电子邮件 (https://arxiv.org/show-email/ace72a0f/2605.05415)] **\[v1\]** 2026 年 5 月 6 日星期三 20:20:09 UTC（18,911 KB）

相似文章