reliability

对递归AI智能体系统中终止问题的分析，强调了智能体如何在仍选择有效动作的同时丢失已验证的位置，并质疑终止逻辑应位于智能体栈的何处。

本文介绍了 MisKnow-Agent，一个用于生成误导性知识以测试深度研究代理的框架，表明即使是有限的看似可信的错误信息暴露，也可能导致最终报告中的错误结论。

本文识别并描述了基于LLM的自主代理中的两种故障模式——安全漂移和操作幻觉——并提出了一种轻量级架构层，可在无假阳性情况下拦截违规行为。

本文发现，更大的语言模型存在一种隐藏的自回归风险机制，在该机制下，模型会承诺低概率词元，进而导致错误滚雪球式增长，使得可靠性随规模扩大而更快下降。研究表明，这种故障模式是因果性的、主导性的，并且对模型自身的自我监控不可见。

提醒：AI代理可能看似在运行（“在线”），但实际上已损坏或故障，强调了需要更好的监控和验证。

本文评估了多语言句子嵌入能否在教育评估中替代翻译进行跨语言的语言集成可靠性审计，发现母语嵌入能紧密复现基于翻译的可靠性估计。

本文评估了用于测量远程双人协作任务中对话状态（如认知负荷和权力）的多模态特征的预测准确性、跨任务泛化能力和重测信度。研究结果表明，语言特征预测良好但泛化能力差，在控制说话者身份后声学可靠性下降，而交互特征提供了最可靠的信号。

一篇文章指出多智能体架构常被过度使用，根据任务并行性和协调需求提供何时使用单智能体与多智能体架构的指南。

本文认为，AI代理系统中的失败可以通过分布式系统的视角来理解，并将代理行为与经典的分布式系统问题进行类比。

提出了一种重心引导的权重纠正方法，用于容错深度神经网络，在LSTM和CNN模型上实现了显著的容错性能提升，且无需重新训练。

EduPanel是一种基于评分标准、面向学习者的LLM评判器，它使用三个专门的智能体来评估教学视频质量，实现了与人类专家相当的可靠性，同时提高了评分准确性并保持对不可靠输出的可检测性。

本文介绍了ProofAgent-Harness，这是一款开源评估工具，从七个标准衡量AI代理的上下文工程质量，并将其验证为代理可靠性的领先指标。

讨论了AI代理中一个常见的失败模式：模型声称已执行工具调用但实际并未触发。主张在生产环境中信任执行回执而非代理叙述，以确保可靠性。

这篇来自 Ai2 的博客文章描述了构建 Shippy（一个用于实时领域感知的海事 AI 智能体）的架构和经验教训，涵盖了智能体结构（灵魂、技能、配置）、确定性工具、沙盒托管和评估等方面。

Oodle在Hacker News上推出Agent可观测性服务，提供每百万跨度10美元的Agent追踪，帮助AI原生团队检测静默失败并提高可靠性。

一个讨论贴，询问开发者如何处理AI代理依赖的工具、API或模型版本在生产环境中发生变化的情况，包括检测、修复和成本。

本文表明，在没有提供参考答案的情况下，LLM评委倾向于对错误答案给予过多评分，而添加参考可以将判定结果翻转多达85%，从而更符合人类判断。作者提出了在无参考设置中使用LLM评委的校准步骤。

本系统综述评估了机器学习模型在早期慢性肾脏病预测中的方法论可靠性，揭示数据泄露使报告的准确性虚高超过15%，且超过80%的预测因子在不同研究中缺乏稳定性。

本文为LLM验证器中的部分相关验证器级联建立了一个最小化理论，展示了凹对数几率、多项式可靠性衰减、盲点上限，并指出去相关性比增加更多验证门更有效。

本文分享了在生产环境中可靠地从LLM生成结构化JSON输出的经验，涵盖JSON模式、模式验证和重试循环等方法，实现了99.5%的有效性。