reliability

用户报告称 Qwen3.6 27B NVFP4 量化版本在编码方面不可靠，尽管吞吐量高但质量不稳定，并建议 Q4_K_M 可能更稳定。

本文提出了Judge-LS，一种评估LLM-as-a-judge模型在英语和中文之间语言切换是否不变的协议。研究发现，语言切换会导致10.7%至14.4%的偏好翻转，且评判者在英语中达到最高准确率。

德克萨斯大学的一篇论文介绍了AgingBench，这是一个基准测试，揭示了AI智能体在部署后可能因记忆和维护衰减而变得不那么可靠，即使底层模型保持不变。

公司们意识到，将非确定性人工智能强行应用于零错误商业环境会适得其反，导致预算削减和试点项目失败，因为投资回报率始终难以实现。

用户报告在使用AI代理（Hermes + Claude Code）对Web应用进行探索性QA时反复失败，原因包括数据库错误、缓存过时和基础设施调试。他们寻求关于创建可靠工作流的建议，包括预检查、清除缓存和限制代理范围。

本文提出，AI辅助社会科学研究的可靠性取决于决策架构——即认知劳动在人类与机器之间的分工方式。通过一个预先指定的析因实验，作者表明，一个无约束的多智能体基线在72%的运行中失败，而采用三个架构承诺（限制LLM仅进行推理、确定性数据/估计、以及三个人类决策门控）的组织运行失败率仅为16%。

一篇观点文章，认为长上下文窗口并不等同于记忆，代理失败通常很普通，比如忘记约束或重新读取文件，强调可靠性取决于上下文架构决策。

Replaysafe 是一个开源的 npm 库，通过对操作进行指纹识别来确保幂等重试，防止 AI 智能体工作流中出现重复的副作用。它集成了 LangGraph、CrewAI 等流行框架。

AI代理常常因环境混乱而失败，而非模型不好；提升环境稳定性能让简单的代理表现出色。

文章指出，即使一个准确率高达92%的LLM分类器，也会因其错误难以解释和修复而削弱信任，强调了构建可验证和可审计的AI系统的必要性。

讨论了一种常见的AI代理失败模式：模型自信地声称已执行了某个操作（例如发送邮件），但实际上并未调用所需的工具，并询问社区如何检测和处理这种生产环境中的静默失败。

本文研究了多模态大语言模型（MLLMs）在视频理解任务中检测正确答案缺失的能力，发现模型系统性地失败，倾向于选择合理的干扰项而非识别出没有有效选项。该失败在时序推理和密集帧采样中更为严重，而思维链提示仅能部分缓解问题。

本文研究了用于安全评估的LLM-as-judge适应情境信息及不同安全定义的能力，发现它们基本是刚性的，当情境与其内部先验相矛盾时无法调整。

一位研究人员向AI代理构建者询问生产中的常见故障，包括工具故障、代理循环、上下文丢失和调试实践。

Datadog的AI报告强调，了解AI系统（包括多模型路由、可靠性问题、可观测性、上下文工程和复合工程）的高级工程师将拥有显著优势。

τ-Rec是一个用于智能推荐系统的可验证基准，它用可验证奖励和控制对话约束取代了主观的LLM-as-a-judge评估，揭示了主流模型存在陡峭的可靠性悬崖——即便是表现最佳的模型，其pass@1也仅有约57%。

文章强调了线上AI采用看似迅速，与实际公司工作流中较为缓慢、谨慎的整合之间的脱节，其中信任、治理和可靠性是关键问题。

Sotis 是一个 Python 库，通过熵检测和循环检测来发现并干预 LangGraph/ReAct 循环中的代理崩溃（循环、编辑风暴），回滚工作区并重启代理以干净地恢复。

一位实践者观察到，限制AI代理每次只规划一步而非多步，能显著提升涉及CRM和潜在客户资格认定的现实自动化工作流的可靠性，因为长期计划在外部状态变化时变得脆弱。

一篇观点文章认为，向系统中添加更多智能体通常是解决可靠性问题的错误方法，而一个精心设计的、具有更好上下文、工具、护栏和评估的单一智能体通常更优。