我在 tau-bench 上的 LLM 智能体与其写入操作之间设置了一道共形风险控制关卡。风险界限得到了保证。这道关卡的效果并不比每次都询问更好 [R]

我的智能体说它有 100% 的把握。用户要求它修改订单中的两项内容，它只改了一项。于是我构建了 gate-calibrated：一道位于使用工具的智能体与环境之间的关卡。在执行任何写入操作（修改订单、更改付款方式）之前，关卡会计算两个置信度信号：模型自己估计的概率，以及对接下来要采取的动作重新采样 k 次后的一致程度，将它们映射为经过校准的成功概率，再与阈值比较。阈值来自共形风险控制：你选择一个 alpha，风险界限所约束的是未经询问就执行了错误写入的对话占比。在我比较的所有策略中，不可逆操作层级的动作（取消、退货、换货）始终都需要询问确认。这是对 ToolChain-CRC（arXiv 2606.18467）和 CORA（arXiv 2604.09155）中思路的开源实现。评估采用 tau-bench 零售基准，总计 3,340 段模拟对话，智能体和模拟用户均使用 glm-5.3-flash。风险控制起作用了。当 alpha 为 0.02 时，460 段测试对话中有 1.7% 未经询问就执行了错误写入。alpha 为 0.05 时，这一比例为 3.7%。alpha 为 0.10 和 0.20 时，均为 3.0%。从点估计来看，所有结果都达到或低于目标，但置信区间较宽，因为 460 条轨迹并不算多。权衡曲线：已执行的错误写入次数与请求批准次数 https://preview.redd.it/6yjfiph4mlvh1.png?width=1050&format=png&auto=webp&s=dc280e5abbc7d2043f64476fd44b945ca01d6c2a 但关卡本身并没有发挥作用。当 alpha 为 0.10 及以上时，学到的阈值低到关卡在写入时从不询问，这使它与采用固定 0.7 置信度阈值的策略完全一样。当 alpha 为 0.02 时，它会频繁询问，每次批准平均避免 0.058 次错误写入，而每次写入都要求确认的策略则为 0.062 次（差值的置信区间为 [-0.04, 0.03]）。每次写入都要求确认还能将已执行的错误写入降至零，代价是每段对话需要 1.57 次批准。无论 alpha 取何值，校准后的关卡都无法达到零错误写入。我一直反复思考的是问题诊断。在我收集的 549 个写入步骤中，有 548 个的口头自报置信度达到或超过 0.9，其中包括全部 43 个错误步骤。5 次重新采样得到的自一致性，在 780 个步骤中的 758 个上达到或超过 0.9。这两个信号都已饱和，因此校准器主要学到的是基础发生率，再加上一个真正有用的特征：它赋予步骤位置的权重（log(1 + 步骤索引) 的系数为 -0.80）表明，越靠后的步骤风险越高。对话中的位置，承担了原本应该由置信度承担的作用。代码、数据和负面结果：https://github.com/Gjusev/gate-calibrated 如果口头自报置信度和自一致性即使在简单的基准上都如此饱和，你会改用什么来对写入步骤进行风险排序？单独的验证模型、对工具参数的检查，还是其他方法？