LLM-as-a-Verifier (GitHub 仓库)
摘要
LLM-as-a-Verifier 是一个通用的验证框架，为AI代理提供细粒度反馈，在Terminal-Bench和SWE-Bench等基准测试上实现了最先进的性能。
查看缓存全文
缓存时间: 2026/09/07 23:51
任意模态，多种应用，统一验证框架
| 文档 | 官网 | 论文 | Claude Code 插件 | Twitter/X | Slack |
相似文章
LLM-as-a-Verifier：通用验证框架
LLM-as-a-Verifier引入了一种概率验证框架，该框架从LLM的对数几率计算连续分数，并在粒度、重复评估和标准分解方面进行缩放。它在多个智能体基准测试上取得了最先进的结果，并为强化学习提供了密集反馈。
@Azaliamirh: 了解 LLM-as-a-Verifier：一种简单、廉价且通用的自我改进技术，可提升“…”的性能
LLM-as-a-Verifier 是一种简单、廉价、通用的面向智能体任务的自我改进技术，通过细粒度评分和基于 logprob 的排名，在 SWE-Bench Verified 和 Terminal-Bench V2 等多个基准测试中取得了最先进的性能。
@omarsar0: 值得收藏的新AI论文。这是我早期预言的，这篇论文证实了：验证已经出现……
这篇来自斯坦福大学、英伟达和加州大学伯克利分校的论文介绍了LLM-as-a-Verifier，一种无需训练的验证框架，利用LLM logits的连续评分来提高编码、机器人和医疗领域的准确性，在多个基准上取得了最先进的结果。
@gurtej__gill_: 来自斯坦福、伯克利和NVIDIA的这篇新论文感觉像是测试时计算拼图中至关重要的一块……
这篇来自斯坦福、伯克利和NVIDIA的论文提出了LLM-as-a-Verifier，一个利用token logits进行连续评分的通用验证框架。它在包括Terminal-Bench V2（86.5%）和SWE-Bench Verified（78.2%）在内的多个基准上达到了SOTA，并提供了可以加速强化学习训练的细粒度信号。
@omarsar0: 验证器至关重要。没有好的验证器，/goal 和 /loop 经常出问题。任何超出 LLM 分布范围的内容，……
强调了验证器对于基于 LLM 的智能体的重要性，指出超出分布范围的任务会导致失败，并建议调整自定义验证器。