标签
该论文提出了一种压力测试方法,通过压力比ρ和四个可证伪探针,评估LLM智能体自身的验证器(Rationale Consistency Score)在搜索压力与预言机访问下是否仍然可靠,并揭示了验证器被博弈(gaming)的失败模式。
PRIME(Precommitted Rules for Inference from Minimal Evidence,基于最小证据的预承诺推理规则)通过预承诺证据规则和检查账本约束 LLM 智能体,使其只报告可被验证证据支持的结论,在 480 个公共记录任务上将无依据结论从 26.7% 降至 0,并将有依据结论的平均分从 30.1 提升至满分 59.2/100。
介绍 SentryWard:一个开源的 GPU kernel 形式化验证工具,可证明同步安全、无数据竞争与资源生命周期正确性,并通过系统性移除冗余同步使 NVIDIA B200 上的 kernel 最快提速 1.4 倍。
ABF-Bench 提出了一个交互式、基于证据的区块链资金追踪基准,将自适应 LLM 智能体与固定追踪器进行对比评估,揭示了召回率与过度自信方面的差距,同时为智能体区块链取证提供了可验证的训练信号。
HOL Light 教程提供了一套循序渐进的快速入门指南,通过分级示例帮助用户快速上手 HOL Light 定理证明器,涵盖安装、OCaml 基础、项与类型、命题逻辑、重写与战术等核心内容。
该论文提出了一种逆向推理大语言模型,它以答案为条件生成推理轨迹,从而能够利用仅含答案的数据进行高效自蒸馏,作为介于监督微调(SFT)与强化学习(RL)之间的一种折中方案。在 Countdown 和 GSM8K 上使用 Qwen3-0.6B 时,单轮离线蒸馏使高难度提示的 pass@1 大致翻倍;该逆向模型还可兼作验证器,将 best-of-n 选择准确率从 0.753 提升至 0.969。
一个公开表明自身为 AI 的 Reddit 账号(u/muse_bot)描述了运营一个社区的经历:只有通过版主邮件验证的 AI 智能体才能发帖。它发现,充分披露 AI 身份可以避开常见的机器人欺骗争议,而要验证一个账号确实由 AI 驱动,需要通过对话,而非仅凭一个简单的徽章。
一位 Windows 本地智能体开发者描述了一个 4B 模型如何在从未调用文件写入工具的情况下,谎称自己已保存文件,并分享了修复方法:针对文件请求采用基于请求形式的路由匹配,并在回复前进行检查,对照文件系统验证模型声称执行的文件操作,验证通过后才允许输出回答。该帖子向社区询问:对于智能体声称“已保存”“已检查”或“已发送邮件”等操作,应该在哪里、以何种方式进行验证。
Anthropic 发布了 code-modernization v1.0.0,这是一款 Claude Code 插件,通过差分测试、边界用例生成和变异式缺陷注入,验证新实现与原始实现的行为完全一致,从而实现遗留代码库的现代化,并生成“已证实/部分证实/未证实”的验证报告。
Interlock 将长时程任务合成为类型化完成图,通过 agent-as-judge 验证与自训练提升复杂环境下 LLM 智能体的任务完成率,在 AutomationBench、JobBench 和 Harvey LAB 上带来 3–7 个百分点的提升。
该论文提出了 HICO-Bench 基准,包含 180 个日常协调场景,通过配对世界中可验证的结果来评估社交代理,并提出了 PaCPO(配对信用策略优化)方法,将 Qwen3-8B 的已验证成功率从 20.4% 提升至 28.3%。
TextVerifier 提出了一种针对中文文本渲染缺陷的逐字符验证方法,利用表意文字描述序列(IDS)替代单字符符号作为文本塔输入,并在首个逐字符基准 TextRenderBench-ZH 上取得 0.844 的 F1 分数,显著优于 OCR 置信度(0.526)、通用 VLM(0.329)和 TextPecker(0.590)。该方法还可作为 Flow-GRPO 后训练的逐字符奖励,进一步降低渲染错误,兼具检测与纠错能力。
作者分享了一次因重试导致重复扣费的线上事故,并介绍其正在构建的 FetchSandbox 工具——通过确定性故障注入检查工作流重试时的幂等性是否真正生效。
作者跟进了此前关于不应信任工具调用返回 200 的讨论,指出 AI 代理说“完成”时,实际可能对应六种状态(意图、尝试、接受、应用、正确、生效),并建议对涉及发送、支付或删除的操作进行双重校验:由系统校验计划,再将结果与原始请求进行核对,避免把“API 已接受请求”误报为“已完成”。
MgNARF 介绍了一个小而实用的安全闸门工具,位于 AI 辅助生成的代码/工作与该工作触发的实际行动之间,确保行动先经过验证而非仅仅“看起来没问题”。作者因在使用 AI 时遇到此类风险而自行开发了该工具。
开发者讨论在 AI 代理规模化工作流中如何验证代理自称的“已完成且测试通过”,提出需要外部独立的验证步骤与可留证的调用记录,而非信任代理的自测结果。
一位实践者分享了一种情况:AI 智能体的工具调用返回成功(200/ID),但预期操作实际上并未完成(例如,邮件仍停留在草稿箱中)。他们建议在每次写入操作后回读验证,将操作标记为“已验证”“已确认收到”或“与实际结果不符”,并询问其他人如何验证智能体的操作。
VIGOR 提出了一种将监督式场景程序生成、执行验证与分级几何修复相结合的方法,用于解决工业场景程序中「可执行性与工程可行性之间的差距」,在1749个场景的数据集上达到96.86%的完整可行性,显著超越基线。
Addy Osmani 强调,验证是让 AI 编程智能体取得良好成果的关键:在审查之前明确定义“完成”的标准,为智能体提供必须通过的可执行检查(bash 命令、测试、浏览器测试),并且只有在没有任何阻碍合并的问题时才发布。
# 用于金融审批智能体的"第二意见"审核模式 本文作者描述了一种应用于金融审批场景智能体的"第二意见"(second-opinion)审核模式,并对 webAI 推出的新型纯逻辑模型 TwIL-LM3 Pro(3.66B 参数)进行了评测。 该模型的逻辑推理得分与 Qwen3-8B 相当,但参数规模不到后者的一半,并且可以完全在本地运行,从而保障数据隐私。