标签
本文首次全面概述了LLM中的元认知，认为置信度校准和自我验证等行为是统一元认知能力的各个方面，并对评估和提升这些能力以增强LLM可靠性和透明性的方法和基准进行了分类。
Gergely Orosz 指出，在AI代理的上下文窗口中使用更多上下文进行更长的运行会增加错误和漂移，建议使用更短的运行和更少的上下文以提高可靠性。
Wi-Fi 8 将重点从速度转向可靠性、稳定性和更低延迟，引入了多接入点协调和无缝漫游域等功能。该标准尚未最终确定，但有望在连接质量方面带来显著提升。
作者认为，给AI智能体更少、更粗粒度的工具，通过减少决策面并防止模型混淆事实与模拟输出，能够提升可靠性和降低成本。
一项调查显示，大多数团队对agent严格控制，数据表明，窄范围agent的成功率为65%，而宽范围仅为16%，这暗示可靠性问题可能更多与范围有关，而非模型能力。
ConceptSMILE是一个基于扰动的审计框架，用于评估基于概念的可解释人工智能的可靠性，已在视网膜眼底图像上进行了测试。
GRACE 使用类型化语义图来表示 LLM 智能体的持久指令，通过对更新进行范围验证，提高了分布偏移下的可靠性。在电信智能体框架上的实验表明，相较于基线方法，严格可靠性有显著提升。
本文介绍了CogniConsole，一种将LLM推理时控制外化的架构抽象，通过受控探针证明增加结构脚手架可降低输出方差和失败率，挑战了可靠性仅源自模型能力的假设。
对仅依赖系统提示的简单AI代理架构的批评，认为概率性LLM需要自反思层和确定性门控以确保可靠的生产行为。作者介绍了Langoedge作为构建可信代理的解决方案。
本文探讨了将LLM用作数据标注者的有效性，重点关注葡萄牙为欧洲葡萄牙语开发的AMALIA-9B模型。研究发现，虽然该模型与人类编码者表现出一致性，但其对表面相关性的依赖引发了对构念效度的担忧，这对主权LLM项目具有启示意义。
讨论了即使是一个高能力AI智能体，如果其底层运行事实薄弱，也可能在生产中失败，这凸显了实际部署中的挑战。
本文介绍了构建可靠AI智能体的四个原语：证据门控记忆、计数评估、单一治理门和诚实递归。
一条推文线程分享了在发布前对 vibe coded 项目进行全面审计的提示，涵盖安全性、可靠性、并发性、可访问性和 UI 一致性。
Sam Altman 引述了一位用户对 GPT-5.6 的赞扬，强调其可靠性和趣味性，使得他们团队的 token 使用量增加了 5 倍。
Peter Gostev比较了Fable和GPT-5.6-Sol，认为Fable更聪明、更有口才但可靠性较差，而GPT-5.6-Sol则是一个勤奋的“工作马”，擅长执行任务和保持代码模式。他详细观察了UI、写作、稳健性及其他功能。
Pluralis v0.1 是一个多元文化、多模态、多语言的基准，旨在评估不同文化背景下的人工智能风险与可靠性。