agent-reliability

讨论AI智能体可靠性中的一个盲点：缓存在获取时是真实的事实，但在使用时已经过时，导致一致但不正确的行为。提出将一致性（与源匹配）与时效性（源目前仍然真实）分开，并询问社区如何处理这个问题。

LangChain 发布了统一评估栈（Harbor + LangSmith）和基于 WASM+QuickJS 的进程内代码执行方案，旨在提升 AI agent 的评估可靠性与执行安全性。

本文形式化了‘组合行为泄漏’（CBL），这是提示组合型智能体系统中的一种故障模式：由于Transformer自注意力机制缺乏模块级隔离，编辑一个提示模块会静默改变其他模块的行为。本文提出了一个可操作的定义、一个可复用的三通道协议，以及在Claude Sonnet 4.6智能体上进行的144次试验的实证证据，发现了亚阈值干扰，这种干扰可能在数千个决策中累积。

反思基于LLM的自动化支持在出现错误时如何导致信任问题，强调验证和可审计性比单纯提高准确性更重要。

PACE 为自进化代理引入了一种任意有效的提交门，它用序贯假设检验替代贪婪接受，控制错误提交概率，减少震荡，同时保持性能且方差更低。

一位开发者讨论了AI智能体在多步骤工作流程中偏离已批准计划的常见问题，寻求缩小计划与执行之间差距的建议。

Step 3.7 Flash 是一款开放权重的 198B 稀疏 MoE 模型，声称在 tau2-bench 上所有难度级别均达到 98% 的智能体可靠性，原始能力中等但多步一致性强劲。

本文通过实证测试了“更结构化的控制（harness）能普遍提高LLM智能体可靠性”这一常见假设，发现不同模型层级间存在非单调关系。它引入了HEAT-24基准，并揭示了严格的控制可能会损害前沿聊天模型，但有利于推理模型。

文章警告称，AI代理的记忆系统优先考虑回忆而非准确性，导致过时或不正确的假设难以追踪或修复，除非重置一切。

一位开发者探讨了检测AI智能体静默跳过操作时的挑战，强调了区分合理遗漏（如策略阻止）与失败之间的困难，并呼吁合作开发智能体可靠性工具。

关于AI代理从干净的演示环境过渡到混乱的生产环境时，状态管理的挑战被低估的深刻反思，累积的状态混乱常常导致推理失败。

本文分析了 PocketOS 一起由 AI 代理误删生产数据库的事件，主张采用验证器独立性和可逆性检查等“硬性门禁”，而非单纯依赖提示词工程。