Jev 秘密学习了一个 Value Function 吗？

一个模型总是可以选择“A“，而不需要确信“A“是正确的。当一个 agent 必须决定是快速行动还是切换到更深层的推理时，这一区分就变得至关重要。

我们花了一些时间探索：

1. Jev 如何融入 System 1/2 决策框架，以及为什么校准（calibration）对于判断何时切换至关重要

2. 为什么在 RL 中最大化期望回报并不保证概率是校准的

3. 在 agentic 任务中预测最终任务成功如何与一个熟悉的 RL 量相关联：Q 函数

价值预测能否帮助构建一个经过校准的 System 1？这是否就是 Jev 背后故事的一部分？

链接：https://souradip-chakraborty.github.io/blog/jev-rlcd/

#Jev #RLCD #System1

关于 Jev 的笔记：Jev 秘密上是一个 Value Function 吗？

来源：https://souradip-chakraborty.github.io/blog/jev-rlcd/

Jev 是 TypeSafe 用于快速、结构化决策的模型。当用于动作选择时，其 Choice 接口接收任务上下文和候选动作，并返回一个在这些动作上的概率分布。因此，它可以作为 agent 中的一个策略（policy）组件，由周边软件选择并执行下一个动作。¹ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:primer)

这些是我们关于理解 Jev 背后的训练机制及其所面临的独特挑战的笔记。

我们从一个公开的浏览器集成开始，探讨为什么校准在 Jev 的语境中如此重要，并思考 System 2 如何辅助 System 1 的不确定决策。最后，我们以一个与强化学习中一个熟悉的量之间非常有趣的联系收尾。

1. Jev 在浏览器中做什么

以公开的 jev-ultrafast 实现中演示的任务为例：

查找 2026 年 9 月 20 日从苏黎世到伦敦的单程航班。

浏览器运行时首先将页面转换为结构化可见控件列表。一个简化的观察结果可能如下所示：

[12] button    Change ticket type · Round trip
[15] combobox  Where from?        · empty
[16] combobox  Where to?          · empty
[18] textbox   Departure          · empty
[19] button    Search

Jev 选择一个操作，并在需要时选择一个兼容的目标：

CLICK → [12] Change ticket type

运行时执行该操作，观察页面变化，然后再次询问 Jev。对于文本输入，职责是分开的：Jev 选择字段，一个单独的文本辅助器生成诸如 "Zurich" 之类的值，然后执行器插入该值。² (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:jevrepo)

图片

图 1。浏览器循环。Jev 选择结构化操作；周边软件提供所需的任何文本，执行操作，并返回下一个观察结果。

已发布的 Google Flights 录制记录显示，从初始页面观察后的第一次预测到被接受的 DONE 决策，耗时 7.073 秒。其中包含十次浏览器交互、一次显式的 WAIT、最终的 DONE 以及两次文本辅助器调用。设置、初始导航和独立的运行后验证不在该时间间隔内。这是对单个任务的测量，而非通用的可靠性基准。³ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:performance)

录制轨迹，逐步执行轨迹大致如下：

该录制包含 17 次 Jev 请求，因为预测与实际执行的操作并非一一对应：页面变化可能导致预测被丢弃或重试。³ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:performance)

序贯决策问题：一个重要观点是，Jev 在这里的动作预测是一个序贯决策问题的一部分。可用的操作随页面变化，每个选择都会影响后续的发展以及最终的成功与否。选择错误的机场会改变 agent 之后将要比较的结果。在结果出现之前停止则会使任务无法完成。

这使得浏览器交互与许多 agentic 任务一样，本质上是序贯的，由此带来其自身的挑战。我们将在最后一节回到这些挑战以及完整的数学描述。

目前，让我们通过一个单步版本来理解。我们可以将 Jev 视为一个策略组件：给定任务上下文和一组可用操作，它对这些操作进行排序并提出其偏好选择。但选择操作只是周边软件所需内容的一部分。为了决定是立即执行还是请求进一步推理，软件还需要了解这个提议有多可靠。这引出了校准以及为什么这对 Jev 如此重要

2. 什么是校准，为什么它对 Jev 至关重要？

在深入探讨校准为何重要之前，让我们先简要理解这一概念。假设 Jev 在两种情况下都提议操作 A：一种情况证据清晰，另一种情况某个相关约束难以解读。提议的操作相同，但软件在第一种情况下可能想立即行动，在第二种情况下则寻求进一步推理。要让概率帮助做出这一选择，它们需要具有有意义的解释。

校准意味着报告的概率与观察到的正确率一致。 在被赋予 0.80 附近概率的决策中，大约 80% 应当是正确的。⁴ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:calibration)设 q 为提议操作正确的报告概率，C\in\{0,1\} 表示其正确性。在评估分布下的完美校准要求

\mathbb E[C\mid q=c]=c.

这里，“正确“意味着满足当前决策的标准，例如选择最便宜的合格航班；它并不意味着后续每次浏览器交互都会成功。

对于 Jev，校准的概率可以帮助周边软件决定一个提议需要多少审查。TypeSafe 将校准描述为其 RLCD 训练方法的目标之一。¹ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:primer)需要注意的一个区别是：我们的 q 代表对正确性的估计，而 TypeSafe 的独立 confidence 字段则是从其输出分布的形状中得出的。confidence 值为 0.80 本身并不意味着 80% 的正确率。⁵ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:confidence)

一个模型可以在选择操作方面表现出色，同时无法报告可靠的概率。让我们看看这一区分为何重要。

3. 为什么校准对 Jev 很重要：何时切换？

只要我们依赖模型的概率，校准就很重要。然而，在一个将 Jev（System 1）与推理模型（System 2）结合的系统中，它具有特别有用的作用：帮助决定何时信任快速预测，何时投入更多精力。

Jev 提议的操作是一个决策；是否立即执行则是另一个决策。在这里，System 1 是 Jev 的快速决策路径，而 System 2 可以梳理约束、检查额外证据或修复计划。路由器（router）由周边 harness 实现，在两者之间做出选择。

假设评估表明 System 2 对困难决策的改进足以证明其额外的成本是值得的。一个示意性的路由器可以执行估计正确率 q\geq0.90 的提议，而将其余的发送进一步检查：

提议的操作相同，但其估计可靠性的变化决定了由哪个策略来处理该决策。过度自信（Overconfidence）可能导致路由器跳过有用的推理；而信心不足则可能触发不必要的调用。校准有助于使这个切换信号变得有意义，而 System 2 的成本和有效性则决定了何时切换是值得的。0.90 阈值只是一个示意。

System 2 在这里的作用也与航班演示中的文本辅助器不同：生成“Zurich“是填充一个已选择的操作，而比较票价则是帮助决定采取哪个操作。

让我们回到航班搜索，看看向 System 2 进行有效交接能带来什么。

4. System 2 如何减少不确定性

已发布的演示在匹配的搜索结果出现时结束。为了说明目的，扩展该任务：

在这些苏黎世-伦敦航班中，选择最便宜的包含一个 23 公斤托运行李的选项。

假设两架航班均满足其他要求，且所列费用是完整的：

假设快速模型倾向于 A，报告 A 的概率为 0.55，B 的概率为 0.45。因此，System 1 没有可靠地解决票价描述如何满足托运行李要求的问题。

System 2 可以梳理这一歧义并产生一个显式的推理轨迹：

The user needs a checked bag; A's included cabin bag does not meet that requirement.

Flight A: $120 + $70 = $190
Flight B: $155 +  $0 = $155

Both meet the requirement after including the relevant charges.
Flight B is cheaper by $35.

System 2 可以在决策上投入更多精力：对选项进行推理、重新审视之前的指令或文档、检索缺失的细节，并关注快速模型可能忽略的约束。在这里，这意味着注意到随身行李不满足托运行李的要求，并比较总票价。这些额外的工作可以得出更好的结论：“A 加上所需行李需要花费 190；B 需要花费 155。”

图片 图 2。航班搜索的一个假设性延续。System 2 解读行李要求并比较总价。该计算支持选择 B；这不是一个实测的 Jev 结果。

System 2 可以直接根据这一结论行事，或者将其推理作为额外的上下文传递给 Jev 重新考虑。这就是额外推理如何减少不确定性的方式：它使相关事实及其含义变得显式，解决了快速预测未能澄清的问题。

但在推理过程中，系统需要知道何时切换。一个未经校准的、过度自信的 System 1 即使遗漏了重要约束，也可能报告很高的确定性。路由器随后可能会直接执行 A，而不触发能够识别出 B 更便宜的推理。可靠的不确定性估计给了系统暂停并检查该决策的机会。

因此，校准与额外推理发挥着互补的作用：校准帮助发出一个提议需要审查的信号，而 System 2 则可以利用这个机会得出更好的结论。

既然我们已经理解了校准为何重要，让我们用一个简单的例子来看看为什么标准的 RL 目标可能无法产生具有这种含义的概率。

5. 为什么在 RL 中最大化期望回报并不保证校准

考虑一个有两个可用操作 A 和 B 的单步决策。假设每个实例中恰好有一个是正确的。在模型可用的信息下，假设

P(A\text{ 是正确的})=0.60,\qquad P(B\text{ 是正确的})=0.40.

设 p 为策略选择 A 的概率。如果正确的操作获得奖励 1，错误的操作获得奖励 0，则其期望回报为

J(p)=0.60p+0.40(1-p)=0.40+0.20p.

该式在 p=1 处取得最大值：总是选择 A。所得的选择分布为 [1,0]，尽管正确率概率仍为 [0.60,0.40]。

总是选择 A 可以达到 60% 的准确率。以 0.60 的概率采样 A 并以 0.40 的概率采样 B 只能达到

0.60\times0.60+0.40\times0.40=0.52.

因此，将策略集中在 A 上对于最大化回报是合适的。错误在于将其选择概率解读为对结果的确定性：

“我总是选择 A“并不意味着“A 总是正确的。”

这一区分在于两个问题之间：

一个 agent 可以确定性地选择 A，即 p=1，同时报告 q=0.60。校准并不要求从报告的正确性分布中采样。

现在比较一个 A 正确概率为 0.99 的简单案例和一个 A 正确概率为 0.60 的更困难的案例。一个最大化回报的选择策略在两者中都可以以概率 1 选择 A。仅凭其选择概率并不能揭示对进一步审查而言有意义的差异。

这个例子并不表明 RL 无法支持校准的预测。它表明仅最大化期望回报并不需要动作选择概率成为校准的正确性估计。选择好的操作和预测其可靠性是不同的目标。

6. 如何学习校准的概率

回到 60/40 的例子。回想一下 p 描述策略选择 A 的频率，而 q 估计 A 为正确的概率。我们希望：

行为：               选择 A
报告的正确率：       q = 0.60

假设训练提供了一个标签 y：当 A 正确时为 1，否则为 0。训练 q 的一种简单方法是二元 Brier 损失：

\mathcal L(q,y)=(q-y)^2.

对于我们的 60/40 示例，其期望值为

\mathbb E[\mathcal L]=0.6(q-1)^2+0.4q^2=(q-0.6)^2+0.24.

该损失在 q=0.6 处最小化。两个目标要求不同的输出：

最大化动作回报 → 总是选择 A
最小化 Brier 损失 → 报告 A 为正确的概率为 0.60

注意：Brier 损失并非学习这些概率的唯一方法。对数损失（log loss），也称为二元交叉熵，在我们的 60/40 示例中给出了相同的答案：

\mathbb E[\mathcal L_{\log}]=-0.6\log q-0.4\log(1-q).

将其导数设为零得到

-\frac{0.6}{q}+\frac{0.4}{1-q}=0 \quad\Longrightarrow\quad q=0.6,

这是唯一的最小值。我们注意到，Brier 损失和对数损失都是严格恰当的评分规则（strictly proper scoring rules），因此真实概率唯一地最小化了期望损失。⁶ (https://souradip-chakraborty.github.io/blog/jev-rlcd/#fn:scoring)

这个计算确定了理想的预测。但它不能保证一个在有限数据和有限容量上训练的模型实现校准。这些估计仍然需要在其将被使用的各类决策上进行评估。

对于 agent 而言，额外的挑战是获得可信的决策级反馈。最终的成功或失败并不会自动为每个先前的操作提供标签 y。验证器、标注样本或对替代操作的精心设计的比较可能提供证据，但功劳分配（credit assignment）仍然是问题的一部分。

综合起来：System 1 和 System 2

图片

图 3。一个示意性的路由器。这里的 q 是一个经过验证的正确性估计，而不是 TypeSafe 的 API confidence 字段。0.90 阈值是一个教学示例，而不是已部署的 Jev 路由规则。

校准的概率帮助路由器决定何时根据 System 1 的提议采取行动，以及何时切换到 System 2 进行进一步推理。这种切换可以重新引导整个轨迹，这又把我们带回了序贯决策问题。

7. Jev 秘密上在学习一个 Q 函数吗？

到目前为止，我们通过单步决策讨论了校准。但浏览器任务涉及