reliability

标签

Cards List
#reliability

MemAdapter:针对记忆诱发谄媚的反事实适应框架

Hugging Face Daily Papers ↗ · 2026-10-04 缓存

MemAdapter提出一个反事实适应框架,通过反事实推理、上下文感知反思和证据驱动推理三个组件,缓解LLM智能体长期记忆引发的谄媚问题,在多个基准上提升记忆可靠性。

0 人收藏 0 人点赞
#reliability

@dair_ai: Meta 的必读论文——关于可靠的自动化研究智能体。如果你让编程智能体运行 ML 实验,一个静默 bug……

X AI KOLs Timeline ↗ · 2026-10-03 缓存

Meta 论文提出 RankEvolve,通过可执行操作协议(EOP)将研究阶段编译为受运行时强制执行的状态机,并让 Claude Code 与 Codex 作为节点互相审查修复,在预算持平下将执行准确率从 45.8% 提升到 62.5%,且在 MovieLens-20M 上改进推荐模型的 NDCG@10 达 4.48%。

0 人收藏 0 人点赞
#reliability

Agent 应该在何时停止依赖模型、让 harness 接管?

Reddit r/AI_Agents ↗ · 2026-10-03

一位用 Rust 构建 agent runtime 的开发者在追问:模型驱动的推理与 harness 管理的可靠性(重试、循环检测、上下文压缩、回滚与恢复)之间的边界应该划在哪里,并寻求从业者对职责归属的建议。

0 人收藏 0 人点赞
#reliability

冻结的场景,变动的赢家:文生3D评测中的配置脆弱性

arXiv cs.AI ↗ · 2026-10-02 缓存

该论文审查了文生3D评测中的配置脆弱性:在固定300个已生成场景的前提下改变渲染与字幕设置,结果发现配置方差常常超过生成器之间的方差,且基于视觉语言模型(VLM)的评测器即使在底层场景完全不变的情况下,也经常改变其评出的赢家。

0 人收藏 0 人点赞
#reliability

@rohanpaul_ai: Nvidia 新论文指出:与其给你的 Agent 更多选项,不如给它一个更好的裁判。一条错误的命令就足以让整个流程脱轨……

X AI KOLs Timeline ↗ · 2026-10-01 缓存

NVIDIA 研究人员发现,让 AI Agent 先起草多个命令选项,再由一个强模型作为裁判在执行前选出最优方案,可以在完全不重新训练的情况下,将终端 Agent 的成功率从 50% 提升到 68%。

0 人收藏 0 人点赞
#reliability

Backdrop 揭示智能体周围环境所付出的代价

arXiv cs.CL ↗ · 2026-10-01 缓存

本文提出了 Backdrop 基准,将四类日常风险(权威性、注入、边界、故障)植入智能体的执行环境中,发现在 16 个模型上平均通过率从 69.5% 下降至 31.3%,表明智能体能够抵御注入的文本,但往往仍会遵循来自其他人的未授权请求。

0 人收藏 0 人点赞
#reliability

NAQD Env:面向语言智能体选择性退出的基准测试

arXiv cs.AI ↗ · 2026-10-01 缓存

NAQD-Env 是一个合成基准测试,用于评估语言智能体在证据、权限或停止指令发生变化时如何有选择地暂停行动。研究发现,尽管微调能提升决策准确性,但各模型的选择性退出召回率仍接近于零。

0 人收藏 0 人点赞
#reliability

Gemini 4 Argon 解决了幻觉问题。

Reddit r/singularity ↗ · 2026-09-30

该帖子声称 Google 的 Gemini 4 Argon 似乎已经有效解决了幻觉问题,暗示该模型在可靠性方面实现了重大突破。

0 人收藏 0 人点赞
#reliability

我们的智能代理一直说'完成,CRM已更新',但实际上并非如此。你们是如何验证代理操作的?

Reddit r/AI_Agents ↗ · 2026-09-30

这篇文章探讨了一个AI智能代理错误地报告CRM更新成功的问题,并强调了需要外部验证来确保工具使用的可靠性。

0 人收藏 0 人点赞
#reliability

规范顺序问题:大语言模型作为多值关系知识库的不可靠性

arXiv cs.CL ↗ · 2026-09-30 缓存

本文提出了"规范顺序问题":大语言模型在内部将多值关系(如"图灵奖全部得主")组织成规范的字母序或时间序排列,因此当提示词偏离该顺序时,集合生成变得不可靠。通过机制分析,作者表明集合生成的过程包括候选检索、内部排序和下一个元素选择,这解释了知识库构建中召回率与精确率失效的原因。

0 人收藏 0 人点赞
#reliability

可靠但对设计敏感:LLM标注中的仪器不确定性

arXiv cs.CL ↗ · 2026-09-30 缓存

本文提出了基于大语言模型(LLM)标注中的"仪器不确定性"概念,研究表明:在同一种任务设计下,重复运行LLM的结果高度可靠;但对任务设计或模型选择做出合理的调整,就可能大幅改变攻击性语言和仇恨言论的标注结果以及流行率估计。

0 人收藏 0 人点赞
#reliability

Inquesto Score:语音代理的可靠性协议

arXiv cs.CL ↗ · 2026-09-28 缓存

本文介绍了Inquesto Score,一种针对语音代理的可靠性协议,它通过定义失败事件和严重性级别来衡量交互成功,并提供了行为诊断视图和声学鲁棒性分析。

0 人收藏 0 人点赞
#reliability

ControlScope:LLM 代理中的工作流修订与可靠性

Hugging Face Daily Papers ↗ · 2026-09-28 缓存

ControlScope 是一种让大型语言模型代理修订工作流的方法,通过比较文件系统任务、ALFWorld 和 AppWorld 中的修复策略来增强可靠性。

0 人收藏 0 人点赞
#reliability

@larsencc: Grok 4.7 极其出色。模型不再是瓶颈。我相信可靠性以及相关的一切……

X AI KOLs Following ↗ · 2026-09-27 缓存

作者赞扬 Grok 4.7 的强大性能,但认为焦点应转移到提高代理和周边系统的可靠性以实现实际应用。

0 人收藏 0 人点赞
#reliability

审计了我们AI代理设置中的1,228次人工干预。91%不是决策,因此我们停止让代理说“完成”。

Reddit r/AI_Agents ↗ · 2026-09-27

审计了AI代理工作流程中的1,228次人工干预,发现91%不是决策,促使引入新的验证服务,包括工作合同和影子模式以提高可靠性。

0 人收藏 0 人点赞
#reliability

什么会让你在实际的代理工作流中信任它?

Reddit r/AI_Agents ↗ · 2026-09-25

文章讨论了评估匿名AI模型Space Bunny在代理工作流中的方法,重点是状态测试、错误恢复和一致性以确保可靠性。

0 人收藏 0 人点赞
#reliability

策略即代码:用于CAR-bench上快速推理可靠性的协程桥接工具

arXiv cs.AI ↗ · 2026-09-25 缓存

本文提出一种协程桥接工具,能够减少CAR-bench上LLM代理的模型调用,实现策略即代码的执行,并以最小延迟达到顶级性能。

0 人收藏 0 人点赞
#reliability

IndicBankBench: 评估印度零售银行语言模型助手的安全性与可靠性

arXiv cs.AI ↗ · 2026-09-25 缓存

介绍了IndicBankBench,一个包含799个案例的基准测试,用于评估印度零售银行语言模型助手的安全性和可靠性,采用多阶段评估,并公开发布代码和数据。

0 人收藏 0 人点赞
#reliability

下一个大型AI类别不是构建AI代理,而是尝试对它们进行压力测试

Reddit r/AI_Agents ↗ · 2026-09-24

本文提出了一个新的类别,专注于压力测试AI代理以提高可靠性,使用模拟人类行为的自主QA系统来检测工作流中的隐藏故障。

0 人收藏 0 人点赞
#reliability

智能体-工具交互中的静默故障:对ToolUniverse的审计

arXiv cs.AI ↗ · 2026-09-24 缓存

本论文审计了面向生物学的智能体AI系统中智能体-工具交互的静默故障,识别了API和包装层中的常见故障,并提出了提高可靠性的机制。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈