verifiers

本文讨论了工程团队中AI代理工作流不一致的问题，并介绍了OmniNode，这是一款通过明确标准和验证来标准化代理工作以提升系统可靠性的工具。

VerMem是一个用于LLM智能体的统一内存管理框架，利用局部和全局验证器结合强化学习，共同控制长期记忆和短期记忆。它在五个基准测试上优于强基线，并改善了效率-性能权衡。

Prime Intellect 发布了 verifiers v1 和 prime-rl 0.7.0，这是一个强化学习训练工具，完全支持 verifiers，包含多种算法如 GRPO 和 OPD，并进行了性能改进。

Prime Intellect Lab 已结束测试，提供平台用于训练模型，支持多种架构和模态，助力自我改进的智能体。

Andrej Karpathy将LLM训练概括为文本、对话和环境；Prime Intellect的Verifiers是一个开源框架，用于构建和共享LLM的强化学习环境，采用MIT许可证发布，附带一个包含2500多个环境的中枢。

一个技术教程，介绍如何使用开源的Verifiers库为大型语言模型（LLMs）构建强化学习环境，并以奥赛罗（Othello）作为实际示例。

Omar强调了构建用于代理编码的LLM验证器和评判器的日益增长的价值，同时Mira Murati分享说Bridgewater与TinkerAPI合作，微调了一个模型用于财务分析。

一篇多推文分析概述了约15篇智能体循环论文，得出结论：预测成功的关键因素是验证器，而非模型本身。示例表明，稳健、不可被博弈的检查（如编译器、测试、可验证奖励）能显著提升性能，而失败则源于缺乏此类验证器或存在被博弈的漏洞。

强调了验证器对于基于 LLM 的智能体的重要性，指出超出分布范围的任务会导致失败，并建议调整自定义验证器。

用户正在使用 Unsloth 和 TRL 实现带验证器的推理训练，报告了使用小型 SLM 和微型 RM 本地生成类似 GRPO 的样本的进展，并承诺很快发布视频。

研究人员提出了一种利用LLM代理的对抗性黑客-修复循环，自动修补代理基准测试中脆弱的验证器，在KernelBench上将攻击成功率从62%降至0%，并证明较弱的防御者可以压制更强的攻击者。

推文重点介绍了来自Harvey的研究人员关于让验证器更便宜以扩展评估和强化学习的工作。

LangChain和Harvey的一项研究探索了通过分批标准评估和使用开源模型来降低验证法律代理输出成本的方法，实现了数量级的成本节约，同时保持了接近前沿的性能。

本文研究了基于评分标准的强化学习中的奖励黑客现象，分析了训练验证器与评估指标之间的分歧。文章提出了一种针对“自我内化差距”的诊断方法，并证明更强的验证能力虽然能减少但无法完全消除奖励黑客问题。

AgentV-RL引入了智能体验证器框架，通过具有工具增强的前向和后向智能体进行双向验证来增强奖励建模，相比最先进的ORM实现了25.2%的性能提升。该方法通过将多轮深思熟虑过程与强化学习相结合，解决了验证器在复杂推理任务中的误差传播和基础性不足等问题。

OpenAI 训练了一个使用验证器的系统来解决小学数学应用题，准确率达到儿童水平的 90%，性能几乎是微调后的 GPT-3 的两倍。该方法通过训练验证器来评估候选解决方案并选择最佳方案，解决了语言模型在多步推理中的弱点。