我们发布了VeriLoop E2（27B，Apache-2.0）。其背后的设计问题是：LLM是否应该被允许提交自己的状态？

声明：我是 VeriLoop E2 的作者之一，这是一个基于 Qwen3.8-27B 后训练的 27B 模型。权重采用 Apache-2.0 协议；我们用于评估的工具集不是开源的（详情见底部）。这是一篇发布文章，但我不想堆砌基准测试数据，而是想谈谈我们围绕其构建的设计规则，因为我认为这才是更有趣的部分。这个问题是在我们构建长期代码和研究工作流程时提出的：当模型提出一个“更好”的状态时，是什么赋予这个状态替换我们已验证状态的权利？显而易见的答案是“运行验证器”。但这仍然留下了一个状态管理问题。假设当前状态在三个受保护义务上的排名（0 = 满足）是 r_t = (0, 1, 1)，模型提议了：A = (0, 0, 1) B = (1, 0, 0) C = (0, 1, 1) 如果将这些简化为标量，B 看起来可能很吸引人，因为总错误计数从 2 降到 1。但 B 也打破了第一个已满足的义务。我们在 VeriLoop-Governed Recurrence (VGR) 中最终使用的规则更为严格：仅当对于每个 j：r'_t[j] <= r_t[j] 且对于至少一个 j：r'_t[j] < r_t[j] 时，才提交 r'_t。因此 A 提交。B 和 C 不提交。模型拥有提议权。验证器/控制器拥有持久化权。这听起来像是一个小小的区别，但它改变了我们对代理状态的思考方式。一个被拒绝的候选方案不会“大部分被接受”或允许泄漏到保留状态中。保留的捆绑包保持不变：工件、受控状态、验证结果、绑定/身份元数据。失败的提议仍然可以作为下一次尝试的证据，但它不会成为新的当前状态。这本质上是任务状态上的受保护偏序关系，而不是一个“看起来更好”的标量分数。 --- 我认为更有趣的部分是，同样的规则为你提供了训练信号。对于相同的当前状态，外部检查的候选方案可以分为：严格进展、无进展、受保护回归、不可比、零排名完成。这比“好/坏答案”标签丰富得多。一个经过验证的严格进展候选方案可以成为纠正监督。一个零排名的工件可以成为最终生成目标。一个回归或不可比的候选方案可以成为负面示例。验证器本身保持在梯度路径之外。训练改变了模型可能提出的提议；它并不教会模型自行授权状态转换。这就是我们在 VeriLoop E2 中实际使用的 VGR 部分。E2 是当前系统中的模型端推理器/提议者：提议生成、抽象、诊断、路径选择、重新规划。外部的工具集/验证器仍然拥有执行、受保护比较、回滚和认证。这里有一个重要的声明边界：当前 E2 的证据支持 VGR 的轨迹监督实现。换句话说，模型是基于验证器控制的状态转换进行后训练的。这与声称我们在报告中描述的完整潜在状态 VGR 算子已端到端集成到 Qwen 主干中是不同的。真正的潜在实现需要自己的证据：受控激活位置、解码器/缓存一致性、梯度路径和推理轨迹。我们将这些声明分开。 --- 我认为提交规则有两个确定性属性很有用：受保护的非回归：提交的状态不能使任何受保护坐标变差。有限严格提交：如果排名坐标是非负整数，每次提交至少减少它们的和，因此严格提交的数量受初始排名和限制。但这两个属性都不意味着“模型将解决任务。”如果提议者无法达到可接受的改进，运行可能会停滞。零排名只意味着“在该验证器合约下完成。”它没有说明验证器覆盖范围之外的情况。因此，VGR 本身不是一个证明系统。它是一个决定什么允许持久化的规则。 --- 我很好奇人们在这里如何处理这个规则过于保守的情况。例如，一些真实的代理任务可能需要暂时破坏一件事，以便以后解锁一个更好的状态。你会：- 保持受保护顺序严格，强制提议者找到非回归路径；- 允许在隔离的沙箱中进行临时回归，但从不提交它们；- 或者使提交关系概率化/预算化？我也对人们在本地代理中放置状态边界的位置感兴趣：令牌前缀？工具调用结果？文件系统快照？测试验证的补丁？整个工作空间状态？我目前的偏见是保持持久化规则简单确定，并将学习复杂性放入提议质量中。但我并不确信这能扩展到每个领域。 --- 发布内容与未发布内容 - 开源（Apache-2.0）：权重、分词器、配置和公共 vLLM 推理工具。我们在 vLLM 0.17.0 上以 BF16 在 131K 上下文下验证了服务；分词器的最大原生支持是 262K。- GGUF（官方，链接见下）：从 BF16 到 IQ1_M，每个层级都与 BF16 GGUF 在 PPL 比率、KLD 和相同 top-p 上进行比较。这些是保留数字，不是下游基准测试重跑。Q6_K（20.6 GiB）是我们推荐的平衡点，MTP 头作为单独文件发布，用于可选的投机解码。- 关于量化名称的提示：在 Q6_K 以下，我们比标准 llama.cpp 量化保持更多张量在更高精度，所以我们的 Q4_K_M 有效 BPW 为 5.84，三个最小层级（Q3_K_M、IQ2_S、IQ1_M）都落在 5.4 左右。比较时看文件大小，而不是名称。最小的主文件在 KV 缓存前为 16.8 GiB，所以没有完全适合 16 GB 卡的。- 聊天模板：使用模型附带的模板；更改角色分隔符或工具调用语法可能会改变行为。- 我们测试过的硬件：[填写：GPU 和 tok/s] - 未开源：我们生产用的 VeriLoop Harness。上面的提交规则很容易在你自己的验证器周围重现（正式版本在报告中），但我们的实现没有发布。模型卡上的基准测试数字来自我们的评估设置，在需要时使用该工具集进行代理任务，因此单独的 E2 不一定能重现它们。每个任务的评估记录是公开的：https://huggingface.co/datasets/tsinghua-sigs-robot-lab/VeriLoop-E2-Evaluation-Evidence - 独立性能：[填写，选择一项：“在没有工具集的情况下，E2 与基础 Qwen3.8-27B 相比：……” 或 “我们还没有发布独立数字。如果你在没有工具集的情况下运行它，我很想听听它的表现。”] 链接：VeriLoop E2: https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2 GGUF: https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2-GGUF 技术报告（如果你想要比我的 Reddit 摘要更详细的正式化）：https://openreview.net/forum?id=P6FIQILHwX