标签
MemAdapter提出一个反事实适应框架,通过反事实推理、上下文感知反思和证据驱动推理三个组件,缓解LLM智能体长期记忆引发的谄媚问题,在多个基准上提升记忆可靠性。
Meta 论文提出 RankEvolve,通过可执行操作协议(EOP)将研究阶段编译为受运行时强制执行的状态机,并让 Claude Code 与 Codex 作为节点互相审查修复,在预算持平下将执行准确率从 45.8% 提升到 62.5%,且在 MovieLens-20M 上改进推荐模型的 NDCG@10 达 4.48%。
一位用 Rust 构建 agent runtime 的开发者在追问:模型驱动的推理与 harness 管理的可靠性(重试、循环检测、上下文压缩、回滚与恢复)之间的边界应该划在哪里,并寻求从业者对职责归属的建议。
该论文审查了文生3D评测中的配置脆弱性:在固定300个已生成场景的前提下改变渲染与字幕设置,结果发现配置方差常常超过生成器之间的方差,且基于视觉语言模型(VLM)的评测器即使在底层场景完全不变的情况下,也经常改变其评出的赢家。
NVIDIA 研究人员发现,让 AI Agent 先起草多个命令选项,再由一个强模型作为裁判在执行前选出最优方案,可以在完全不重新训练的情况下,将终端 Agent 的成功率从 50% 提升到 68%。
本文提出了 Backdrop 基准,将四类日常风险(权威性、注入、边界、故障)植入智能体的执行环境中,发现在 16 个模型上平均通过率从 69.5% 下降至 31.3%,表明智能体能够抵御注入的文本,但往往仍会遵循来自其他人的未授权请求。
NAQD-Env 是一个合成基准测试,用于评估语言智能体在证据、权限或停止指令发生变化时如何有选择地暂停行动。研究发现,尽管微调能提升决策准确性,但各模型的选择性退出召回率仍接近于零。
该帖子声称 Google 的 Gemini 4 Argon 似乎已经有效解决了幻觉问题,暗示该模型在可靠性方面实现了重大突破。
这篇文章探讨了一个AI智能代理错误地报告CRM更新成功的问题,并强调了需要外部验证来确保工具使用的可靠性。
本文提出了"规范顺序问题":大语言模型在内部将多值关系(如"图灵奖全部得主")组织成规范的字母序或时间序排列,因此当提示词偏离该顺序时,集合生成变得不可靠。通过机制分析,作者表明集合生成的过程包括候选检索、内部排序和下一个元素选择,这解释了知识库构建中召回率与精确率失效的原因。
本文提出了基于大语言模型(LLM)标注中的"仪器不确定性"概念,研究表明:在同一种任务设计下,重复运行LLM的结果高度可靠;但对任务设计或模型选择做出合理的调整,就可能大幅改变攻击性语言和仇恨言论的标注结果以及流行率估计。
本文介绍了Inquesto Score,一种针对语音代理的可靠性协议,它通过定义失败事件和严重性级别来衡量交互成功,并提供了行为诊断视图和声学鲁棒性分析。
ControlScope 是一种让大型语言模型代理修订工作流的方法,通过比较文件系统任务、ALFWorld 和 AppWorld 中的修复策略来增强可靠性。
作者赞扬 Grok 4.7 的强大性能,但认为焦点应转移到提高代理和周边系统的可靠性以实现实际应用。
审计了AI代理工作流程中的1,228次人工干预,发现91%不是决策,促使引入新的验证服务,包括工作合同和影子模式以提高可靠性。
文章讨论了评估匿名AI模型Space Bunny在代理工作流中的方法,重点是状态测试、错误恢复和一致性以确保可靠性。
本文提出一种协程桥接工具,能够减少CAR-bench上LLM代理的模型调用,实现策略即代码的执行,并以最小延迟达到顶级性能。
介绍了IndicBankBench,一个包含799个案例的基准测试,用于评估印度零售银行语言模型助手的安全性和可靠性,采用多阶段评估,并公开发布代码和数据。
本文提出了一个新的类别,专注于压力测试AI代理以提高可靠性,使用模拟人类行为的自主QA系统来检测工作流中的隐藏故障。
本论文审计了面向生物学的智能体AI系统中智能体-工具交互的静默故障,识别了API和包装层中的常见故障,并提出了提高可靠性的机制。