标签
作者预言AI时代下一阶段将从模型能力转向基础设施能力，强调可复现、可观测、可恢复、安全隔离等infra能力，认为稳定承载AI行为将是竞争关键。
这项基准研究评估了46个大型语言模型与人类专家在编码定性人道主义数据方面的表现，发现通过结构化提示和推理，LLM可以达到与人类相当的可靠性，但对于细微主题仍需仔细监督。
本文提出了一种防泄漏诊断方法，通过跨测试样本打乱可靠性分数，来检验质量感知多模态融合方法在推理时是否真的使用了这些分数。在StressID和CMU-MOSEI上的实验表明，打乱后的可靠性分数并未改变性能，说明质量信号仅在能可靠预测单模态正确性时才会影响决策。
本文提出了一种面向AI生成的望远镜调度决策的多级验证与可追溯性框架，融合数据引用验证、逻辑一致性检查和观测约束，以提高高可靠性天文观测任务中决策的可执行性与可靠性。
本文讨论了构建一个可靠、长期运行的多代理生产系统所面临的挑战，指出目前需要集成多个碎片化工具，如 CrewAI、Temporal、Browserbase 和 Langfuse，并提出是否可能存在更统一的运行时。
介绍ToolBench-X，这是一个基准测试，用于评估各种工具环境可靠性隐患下的大语言模型代理，揭示了与干净环境相比性能上的显著差距。
本综述从系统层面对基于LLM的科学同行评审进行了分析，涵盖方法、基准以及包括提示注入和数据投毒等稳健性风险在内的可靠性挑战。
Gergely Orosz报告了Spotify播客发布在一个月内第三次重大故障，质疑是否归咎于AI部署，并指出没有状态页面。
介绍Age of LLM，一个回合制1v1基准测试，LLM在带有战争迷雾和外交机制的网格上对战，评估推理、可靠性和战略规划能力。结果显示核速攻战术占主导，且可靠性与获胜之间存在弱关联。
对所谓专家构建的劣质自动化系统的批评——他们忽略错误处理、文档和治理，留给客户的是脆弱的工作流，一上线就崩溃。
Xingyao Wang 的博客文章解释了为什么 OpenHands V1 选择了与 Claude Managed Agents 不同的架构，认为可靠性来自于实现细节而非拓扑结构。
本文证明了对稀疏自编码器（SAE）特征的干预可能不可靠，因为受抑制的行为可以通过残差空间优化恢复，即使干预仍然有效。它揭示了语言模型中特征级控制与实际行为完整性之间的关键差距。
本文认为，工具调用的可靠性往往不与模型能力成正比；较小的模型在遵循模式和格式规范方面可能超越较大的模型，这表明原始能力并非选择工具调用模型的唯一因素。
声称代理性能显著提升：启动时间快3倍，99.99% 零错误轮次。
Probably 从 Andreessen Horowitz 获得 900 万美元种子轮融资，通过确定性验证器系统捕获 LLM 幻觉，构建更可靠的人工智能系统，使小型模型能够在本地硬件上运行。
ToolMenuBench是一个用于评估多步骤LLM代理中工具菜单过滤策略的基准测试。它表明，与未过滤的暴露相比，因果最小工具过滤显著提高了任务成功率并减少了Token使用量。
本文介绍了一种名为Metric Match的方法，通过选择样本子集进行人工标注，以更高效地估计LLM裁判的可靠性，将标注成本降低32.5%，并相对于随机选择实现了0.838的胜率。
一篇博客文章指出，当前的智能体检查点不足以实现生产级弹性，指出了故障检测、自动重试和高可用性等缺口，并建议将智能体构建在高可用编排层之上。