标签
一位前员工回顾了福报云(阿里云)2023年11月12日的严重故障,并称2026年7月26日菊花云(华为云)的故障规模是其百倍以上,涉及数百万实例被锁停,凸显云厂商在熔断和人工确认机制上的缺失。
探讨AI智能体为现实世界工作做好准备的程度,涵盖其当前能力以及围绕可靠性、权限、失败和人工监督的关键未解决问题。
一位从业者询问关于AI智能体报告成功但业务结果错误的实际经验,希望获得有关人工检查和失败成本的运营反馈。
本文评估了基于BERT的问答模型(RoBERTa、ALBERT、DistilBERT)在蒙特卡洛Dropout和输入改写条件下的可靠性,发现RoBERTa更为一致,并验证了MCD作为可靠性指标的有效性。
本文介绍了REIN,一种对齐框架,通过训练大型推理模型在回答前进行明确反思,并在知识不足时主动弃权,从而减少幻觉。实验表明,REIN在多个基准上持续提升选择性准确率并减少幻觉。
This paper investigates the 'knowing-saying gap' in language models, showing that linear probes can detect corrupted context with near-perfect accuracy yet fail to predict final answer errors, with implications for deployment monitoring and intervention strategies.
This empirical study investigates how recurrent context compression affects long-horizon agent behavior, showing that compression can weaken recent interaction influence and cause instability. The authors introduce TRACE, a verifier-guided framework that improves compression reliability and performance on AppWorld.
一位机器人技术从业者解释说,机器人部署的瓶颈不是硬件或模型,而是能否预判部署能否持续运行,关键在于可行性、可靠性和经济性。
John Regehr 描述了使用 tis-interpreter 在 SQLite 中搜索未定义行为,发现了其他工具遗漏的错误,如悬空指针使用和未初始化读取。
一位用户报告称,尽管 DeepSeek-V4-Flash-0731 在基准测试中得分很高,但在摘要、会议记录等非编程办公任务上却并不可靠,在概念提取和说话人理解方面表现不佳,而 Gemma-4-31B 的表现更好。
本文提出了一种用于视觉语言图表读取中无标签可靠性的交换理论,表明基于一致性的方法存在可计算的盲点,并引入了一种通过循环重标记增强的等变一致性评分。
本文介绍了RENDEQ,一种为科学图像生成渲染等价集的生成器,并测量了开放权重VLM中模型在语义保持的重渲染之间的一致性在多大程度上追踪正确性。研究发现,一致性仅在超过阈值时才证明正确性,而基于自一致性进行微调可能会损害准确率。
本文介绍了PPDL,一种用于编程基于LLM的流程的概率语言,使开发者能够在整个应用中量化和传播不确定性,并提供了关于定理证明的实验和案例研究。
OrchestraBench 是一个新的基准测试,用于评估多智能体编排框架在故障模式、恢复和分解质量方面的表现,通过故障注入和级联半径指标来诊断流水线在何处以及为何失败。
最新可靠性报告显示,约 72,000 个 x402 端点中 51% 不可达,仅有 67.8% 的收款钱包收到过付款,整个生态已结算 4,572 万美元,凸显了已列出端点与可用端点之间的差距。
本文介绍了关系响应场(RRF),这是一个理论框架,用于确定黑盒LLM响应在损坏情况下何时可以被可靠恢复,并建立了将响应一致性与真实性区分开的可辨识性条件和极小极大界。
介绍了CARGO-VL,一种面向视觉-语言模型的组相对优化框架,通过反事实一致性和风险约束控制,改进对冲突图像-文本证据的处理以及不支持答案的回避,并提供了XMC冲突训练资源。
这篇文章认为,许多AI智能体工具只是1:1的API封装,将分支逻辑推给大语言模型,导致失败。作者推荐任务形态的工具,比如upsert_contact,将搜索/创建/更新逻辑封装在代码中,传递已知上下文,校验输入,并返回结构化错误。
询问开发人员如何为智能体重试设定预算,以区分瞬时故障和持久故障,以及哪些信号最能决定在生产环境中的智能体是停止还是重试。
谷歌报告称,Gemini Robotics ER 2 能以高精度(91.3%)检测精确的停止时刻,但在对整体任务进度进行五档分类时可靠性却低得多(57.4%),这引发了关于完成检测是否应作为独立安全层的疑问。