@Azaliamirh: 了解 LLM-as-a-Verifier:一种简单、廉价且通用的自我改进技术,可提升“…”的性能

X AI KOLs Timeline 论文

摘要

LLM-as-a-Verifier 是一种简单、廉价、通用的面向智能体任务的自我改进技术,通过细粒度评分和基于 logprob 的排名,在 SWE-Bench Verified 和 Terminal-Bench V2 等多个基准测试中取得了最先进的性能。

了解 LLM-as-a-Verifier:一种简单、廉价且通用的自我改进技术,可提升我们尝试过的“任何”智能体任务的性能。 它在 Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench 和 MedAgentBench 上取得了最先进性能。 关键思路: - 使用细粒度评分(例如 1-20) - 通过重复采样和基于标准的评分来扩展模型响应 - 根据评分的预期 logprobs 对结果进行排名 我们让您轻松尝试: 代码:https://github.com/llm-as-a-verifier/llm-as-a-verifier… Claude 代码插件:https://github.com/llm-as-a-verifier/TurboAgent… 论文:https://arxiv.org/pdf/2607.05391 这项工作由 @jackyk02 领导,带领着一支优秀的团队!
查看原文
查看缓存全文

缓存时间: 2026/07/11 07:21

任意模态,多种应用,一个统一验证框架

| 文档 | 网站 | 论文 | Claude Code Plugin | Twitter/X | Slack |

相似文章

LLM-as-a-Verifier:通用验证框架

Hugging Face Daily Papers

LLM-as-a-Verifier引入了一种概率验证框架,该框架从LLM的对数几率计算连续分数,并在粒度、重复评估和标准分解方面进行缩放。它在多个智能体基准测试上取得了最先进的结果,并为强化学习提供了密集反馈。