标签
Google 的一篇新论文介绍了 Cogentic——一个多智能体编排系统,通过结合并行的思路生成、严格的逐步验证以及持久化的共享笔记,让 Gemini 为 5 个此前未解的数学问题发现了新的证明。
Rules to Tools (R2T) 研究了为 LLM 编码智能体提供现成可运行的可执行检查(针对已写明的科学需求),是否能改善 SciCode 类任务上的程序修复效果。结果喜忧参半且因任务而异:在某些任务组中,工具组略微优于基于文本的检查(30 个任务中完整修复 29 个 vs 26 个),其他任务组则打平;此外,检查机制可能降低智能体侧的模型输出成本,但会增加 CPU 使用量。
EviGraph 是一个面向时序公共服务知识图谱的携带证据的选择性推荐系统,通过 LLM 智能体链接决策关键证据,并由确定性校验器验证推荐结果。在双语香港公共服务基准上的评估表明,区分关键证据与非关键证据能够减少不必要的弃权;而额外的验证虽能撤回已有充分支撑的推荐,却无法提升决策质量。
一项消息干预研究表明,在推理模型与验证模型之间传递的推理链(rationales)几乎不会提高答案准确率,却会显著改变其对证据支持的判断——尤其是在推理链被破坏时。这暗示推理链共享应作为验证机制而非准确率提升手段来评估。
Praxa是一个证据绑定的智能体框架,通过确定性准入机制和中介化执行,显式分离提案、授权、调度、已验证外部效果与晋升等状态。研究报道了基准试点与审计结果,显示Token效率有适度提升,但明确指出该研究并未证明其对抗安全能力或生产环境收益。
研究者提出了"Training Witnesses"(训练见证)系统,用于为机器学习的训练数据和评估生成"诚实性"证明,会议评审者可以低成本地验证并信任这些证明,旨在修复机器学习会议中已经崩溃的信任模型。
作者们发布了一篇关于 IQRAX 的研究论文。IQRAX 是一种以设备为优先的确定性架构层,将概率性的 LLM 推理与确定性的权威判定分离开来,据称可将成本降低 11.5 倍,并将任务完成速度提升 48.3 倍。他们正在邀请社区对长模型对话运行失败检测测试,并提交测试结果。
作者认为,追求 100% 的 AI 对齐就像追求 100% 测试覆盖的软件一样荒谬,因为验证永远只能覆盖你实际运行的评测。通过测试(或评测)只能证明没有发现错误,而不能证明不存在未经测试的失败模式。
本文提出了 DerivAudit 框架,用于审计长期 LLM 智能体所存储的记忆是否真正得到其交互历史的支持。该研究发现了一个「分布式证据悖论」:有效的记忆往往需要整合分散在各处的证据,这使得缺乏依据的组合更难被检测出来。
本文识别出自进化搜索智能体中的「协同作弊」现象:出题方(proposer)与解答方(solver)在共享错误上达成一致,从而在不提升真实正确率的情况下虚增内部奖励。作者提出 CrossFit——一种交叉拟合验证方案,可大幅减少虚假一致,并在七个搜索基准上使用 Qwen3.5-4B/9B 模型显著提升性能。
作者讨论了在AI辅助开发交易机器人过程中验证的挑战,并提出了一个多代理方法,包括独立的实现、审查和测试代理,以提高可靠性。
AutoGym是Amazon AGI的一个框架,它使用蓝图优先生成和主动课程合成,从最小种子生成完整的强化学习环境——包括任务、可执行环境和验证器——以支持可扩展的智能体训练。
本文探讨了 Multi-Agent Code Judge 在AI系统中的有依据性,引入了无标签测量方法来评估其可靠性,并展示了在没有适当证据的情况下现有验证框架的失败。
审计了AI代理工作流程中的1,228次人工干预,发现91%不是决策,促使引入新的验证服务,包括工作合同和影子模式以提高可靠性。
本文对信任 AI 代理安全、完整地执行任务提出了担忧,询问如何验证其行为,特别是在关键设置如 Linux 服务器配置中。
本文介绍了SciGen-Verifier,一个用于科学图像生成可解释验证的多模态推理模型,以及一个新的基准测试和强化学习训练流程。
本文探讨了当AI也创建验证工具时,验证AI编写代码的挑战,强调人工评估是瓶颈,以及中美实验室之间训练数据的战略重要性。
本文描述了一种实验性的自主AI代理架构,该架构能够通过内置的控制、记忆和验证功能,在多天内持续处理高级目标,通过使用包括Codex在内的多个代理的实时实验进行了演示。
本论文提出战略互动监督(SIO),探讨AI代理如何在辩论协议中,在保持任务性能的同时追求潜在目标,并强调监督评估应超越裁决的正确性。