论文页面 - AdaGuard：支持用户自定义策略的自适应安全模型

来源：https://huggingface.co/papers/2609.34241

摘要

护栏模型支持语言模型代理的安全部署，但固定的风险分类体系限制了它们适应不同应用和任务需求的能力。在用户自定义策略下，检测违规行为需要同时解读适用规则和代理的行为，因为相同的操作在不同策略下可能被判定为不同结果。为了支持学习这种能力，我们推出了AdaptiveSafety数据集，包含10,939个训练样本和1,000个测试样本，涵盖1到100条规则的策略。该数据集结合了来自多个来源的轨迹以及策略和行为的反事实样本，每个样本都配有解释和完整的违规规则集合。这些反事实样本揭示了改变合规性的关键因素，而结构化增强则为规则重排序和标识符重映射下的一致性提供了监督信号。基于这种监督，我们提出了SafePO——一种强化学习算法，用于优化违规识别，同时平衡解释性推理和最终判定。SafePO使用结构化奖励评估预测正确性，在响应层面保留组相对优势，并采用单独训练的价值模型来调节解释和判定区域内的词元权重。尽管长度存在差异，但独立的归一化控制着它们对训练的相对贡献。通过监督预训练后接SafePO训练，我们开发了AdaGuard——一系列0.6B、4B和8B规模的护栏模型，可在推理时根据提供的策略评估代理轨迹。我们的4B模型在AdaptiveSafety上达到89.30%的二元准确率，在DynaBench上达到71.82%。项目仓库地址为 https://github.com/Yunhao-Feng/AdaGuard

查看arXiv页面 (https://arxiv.org/abs/2609.34241) 查看PDF (https://arxiv.org/pdf/2609.34241) 项目主页 (https://yunhao-feng.github.io/AgentGuard/) GitHub仓库 (https://github.com/Yunhao-Feng/AdaGuard) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.34241)

在你的代理中获取此论文：

hf papers read 2609.34241

尚未安装最新CLI？请使用：curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

暂无关联模型

在模型的README.md中引用 arxiv.org/abs/2609.34241 即可从本页面链接。

引用本文的数据集0

暂无关联数据集

在数据集的README.md中引用 arxiv.org/abs/2609.34241 即可从本页面链接。

引用本文的Space0

暂无关联Space

在Space的README.md中引用 arxiv.org/abs/2609.34241 即可从本页面链接。

包含本文的收藏集0

暂无包含本文的收藏集

将本文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接。