标签
作者实现了一个基于保形风险控制的写操作安全闸门 gate-calibrated，在 tau-bench retail 上验证了风险上界成立（α=0.02 时，1.7% 的错误写入未询问用户，达标），但该闸门在错误写入避免率上并未优于简单地每次询问用户。诊断显示，模型以语言表达的置信度和自采样一致性信号均已饱和（错误步骤上的置信度也≥0.9），真正起作用的特征只有对话中的步骤位置，说明该方案即使在简单的基准上也难以产生有区分度的置信信号。
本文指出，在LLM智能体中简单积累技能可能导致性能倒退，因为对某些任务有益的技能反而会损害其他任务。作者提出Assay框架，该框架衡量每个技能的因果贡献，并对每个任务进行掩码处理，在不更新权重的情况下，在AppWorld和τ-bench上取得了最先进的结果。
本文引入“验证税”（Verifier Tax）概念，将AI代理的结果分类为安全成功、不安全成功或失败，并为使用工具的LLM代理提出了一种双层验证架构。
一位开发者探讨了检测AI智能体静默跳过操作时的挑战，强调了区分合理遗漏（如策略阻止）与失败之间的困难，并呼吁合作开发智能体可靠性工具。