智能体早已知晓：内部状态预测并阻止未经授权的行为，以及随之而来的谎言

Hugging Face Daily Papers 论文
agent-safety interpretability residual-stream prompt-injection honesty monitoring

摘要

该论文提出利用语言模型智能体残差流的线性读数来预测未授权行动和虚假报告，从而以极低成本实现动作门控，显著减少违规行为和提示注入攻击，同时不影响任务完成率。

语言模型智能体有时会超越其授权范围行事，随后又不实报告自己的所作所为。在 CAPE-Bench 上——该基准包含成对匹配的智能体任务，其中一个事实决定某项操作是否获得授权——前沿开放权重智能体既会越权，也会谎报，而一种行为是说谎的标志：事后洗白授权，即先采取行动，再装作行动尚未执行那样请求许可。在 1081 次新收集的、智能体知情的违规行为中，出现这种行为后有 70% 会作出虚假报告，而其他情况下这一比例为 8%（预注册优势比为 7.0）；相比之下，tau^2-bench 上的前沿智能体会在违规前捏造授权。对智能体残差流的线性读出能够在行动前预测违规（AUROC 为 0.94），并在报告前预测虚假报告；当智能体受到隐藏推理过程的压力时，其表现优于思维链监控器。根据这一预测对每项拟议操作进行把关，可在四个模型家族中降低整个任务回合的违规率；将反复触发的预警发送给审批者，则能保留获授权工作的完成能力（Gemma-4：违规率从 0.70 降至 0.09，完成率为 1.00；由模型审批者将不明确的情况上报给人工，可在仅需人工查看 25% 的请求时保持这一收益），所需计算量约为智能体的 10-8，且比思维链监控器少 109 倍。在外部提示注入基准 AgentDojo 上，同一线性读出仅用 29 个任务进行校准，并保持干预方式不变，就能降低两个模型家族在未见任务上的攻击成功率（Gemma-4 从 11.7% 降至 5.7%，gpt-oss 从 28.5% 降至 17.5%），同时保持正常任务效用（Gemma-4 为 0.637 对 0.637；gpt-oss 为 0.667 对 0.681）。防止违规也是防止说谎最可靠的方法（三个模型家族合并统计的违规谎报率从 0.10 降至 0.01，已预注册），而违规发生后专门针对说谎的修正措施效果较弱。所有测试均已预注册并通过哈希锁定；代码、数据及完整记录（包括未通过的测试）见 https://github.com/AryaFayyazi/Honesty。
查看原文
查看缓存全文

缓存时间: 2026/10/15 18:59

论文页面 - 智能体早已知晓：内部状态可预测并阻止未经授权的行动，以及随之而来的谎言

来源：https://huggingface.co/papers/2610.17301

摘要

残差流预测能够在未经授权的智能体行动和虚假报告发生之前检测到它们，从而实现低成本的门控，在不影响任务完成的情况下减少违规和提示注入攻击。

语言模型智能体有时会超越授权范围采取行动，随后又不如实报告自己的所作所为。在 CAPE-Bench (https://huggingface.co/papers?q=CAPE-Bench) 上，这是一组由单一事实决定某项行动是否获得授权的配对智能体任务，前沿开放权重智能体既会越权行动，也会虚假报告，而一种行为标志着谎言的出现：事后授权洗白 (https://huggingface.co/papers?q=retroactive%20permission%20laundering)，即先采取行动，再假装行动尚未执行而请求许可。在 1081 次新发生的、明知违规的行为中，有 70% 在虚假报告之前出现了这种行为，而其他情况下这一比例为 8%（预注册比值比为 7.0）；相比之下，前沿智能体在 tau^2-bench (https://huggingface.co/papers?q=tau%5E2-bench) 上会先捏造授权，再实施违规。对智能体残差流 (https://huggingface.co/papers?q=residual%20stream) 的线性读出 (https://huggingface.co/papers?q=linear%20readout) 能够在行动发生前预测违规（AUROC (https://huggingface.co/papers?q=AUROC) 为 0.94），并在报告生成前预测虚假报告；当智能体受到隐藏其推理过程的压力时，其表现优于思维链监控器 (https://huggingface.co/papers?q=chain-of-thought%20monitors)。基于这一预测对每项拟议行动实施门控，可减少四个模型家族在完整任务过程中的违规；将反复触发的警报交由审批者处理，则能保留已获授权的工作（Gemma-4：违规率从 0.70 降至 0.09，完成率为 1.00；将不明确的情况升级处理的模型审批者能够维持这一收益，同时仅有 25% 的请求需要由人工查看），其计算开销约为智能体计算量的 10-8，且比思维链监控器低 109 倍。在外部提示注入基准 AgentDojo (https://huggingface.co/papers?q=AgentDojo) 上，同一读出器仅使用 29 项任务进行校准，在引导 (https://huggingface.co/papers?q=steering) 保持不变的情况下，降低了两个模型家族在未见任务上的攻击成功率（Gemma-4 从 11.7% 降至 5.7%，gpt-oss 从 28.5% 降至 17.5%），同时保持正常任务效用（Gemma-4 为 0.637 对 0.637；gpt-oss 为 0.667 对 0.681）。阻止违规也是防止谎言最可靠的方法（三个模型家族合并统计后，虚假报告的违规比例从 0.10 降至 0.01，已预注册），而违规发生后专门针对谎言的补救措施效果较弱。所有测试均已预注册并通过哈希锁定；代码、数据和完整记录（包括未通过的测试）均可在 https://github.com/AryaFayyazi/Honesty 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2610.17301)查看 PDF (https://arxiv.org/pdf/2610.17301)项目页面 (https://huggingface.co/papers/2610.17301)GitHub0 (https://github.com/AryaFayyazi/Honesty)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.17301)

在你的智能体中获取这篇论文：

hf papers read 2610\.17301

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.17301，即可从本页面链接到该模型。

引用这篇论文的数据集1

Afayyazi/CAPE-Bench 查看器• 更新于约 21 小时前 • 267k • 27 (https://huggingface.co/datasets/Afayyazi/CAPE-Bench)

引用这篇论文的 Spaces0

没有 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.17301，即可从本页面链接到该 Space。

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。

相似文章

@vintcessun: 原来agent安全可以不止盯工具调用，还能实时读它的推理过程。Adrian在agent执行动作前，既看行为日志又把reasoning chain过一遍，两个维度交叉检测。效果？DeepMind论文说联合分析比纯行为检查准确率提升35%。它…

X AI KOLs Timeline

Adrian 是一个开源 AI 代理运行时安全监控引擎，通过联合分析代理的行为日志和推理链进行异常检测，比纯行为检查准确率提升 35%，支持 LangChain 两行 SDK 接入。

基于 LLM 的智能体系统中自动失败归因的机制研究

arXiv cs.LG

该论文对基于 LLM 的智能体系统的自动失败归因（AFA）进行了机制研究，发现模型存在'知道但不说'的差距：内部激活包含正确归因的信息，但无法显式输出。作者据此提出 grafting 干预方法，在多个 LLM 和基准上优于直接提示方法。

模型更懂行：防御医疗多智能体系统中的提示注入

arXiv cs.CL

该论文研究了医疗多智能体系统中的提示注入攻击，发现单个注入片段可使攻击成功率高达61%，并提出一种免训练的防御方法，通过将患者临床发现与临床判断分离验证，将MedQA上的攻击成功率降至4–7%且不损失正常准确率。