llm-reliability

ConfidenceBench是一个新的基准测试，使用Brier分数评估大型语言模型中的口头置信度估计，揭示了准确性和校准之间的分歧，即使是高精度的模型也可能严重校准不良。

一位开发者讲述了构建并最终关闭基于LLM的医疗预约生产服务的痛苦经历，指出了模型可靠性、结构化输出验证和提供商正常运行时间等问题。

本文对4种模型和4种数据集设置下的24种黑盒不确定性估计方法进行了系统性回顾和基准测试，发现没有任何单一方法占主导地位，但结合多种不确定性信号的混合方法表现出色。

AgentCodec 是一个源代码可用的库，它将 28 种 LLM 可靠性技术（如重试、集成、生成器/判别器优化等）统一到单一兼容 OpenAI 的 API 下，并配备自适应路由器，在匹配质量的情况下可降低约 56% 的推理成本。该库采用通信理论框架，支持即插即用替代 OpenAI、Anthropic 和 Ollama 客户端。

本文介绍了CHARM框架，用于检测和缓解多步骤智能体RAG流水线中的级联幻觉问题——早期阶段产生的错误会在推理步骤中不断传播并放大。CHARM在多个基准测试中实现了89.4%的级联检测率和82.1%的错误传播降低率，且延迟开销较低。

本文分析了11个主流大型语言模型的置信度校准情况，发现它们普遍过于自信，尤其在困难任务上，而在简单任务上则信心不足。文章引入了LifeEval，这是一个用于评估不同难度级别下校准效果的测试。

本文实证检验了基于LLM的用户状态分类的心理测量学可靠性，发现213项指标中仅有31项满足可靠性标准，对实时自适应系统中的信任提出了质疑。

PRISM是一个闭环框架，将提示工程视为企业对话式AI的持续可靠性问题。它自动执行测试生成、模拟、评估和修复，实现了99%的可靠性，并将编写时间从几天缩短到几分钟。

本文调研了AI在整个研究生命周期中的能力与局限，从创意生成到成果发布，识别出可靠辅助与不可靠自主之间的明确界限。它提供了一个分类体系、基准测试套件、工具清单以及人类主导的AI协作研究设计原则。

本文介绍了 AgentForesight，这是一个用于基于大语言模型（LLM）的多智能体系统的在线审计和早期故障预测框架。文章提出了一个新数据集 AFTraj-22K，以及一个专用模型 AgentForesight-7B，该模型在检测轨迹执行过程中的决定性错误方面优于领先的专有模型。

一位前AI倡导者详细阐述了对大语言模型的幻灭，指出可靠性问题、版本间退化、企业工作流崩溃，以及部署在关键行业的AI系统缺乏问责制。

一位用户讨论了将免费AI模型用作教育辅导时在可靠性和一致性上的挫败感，质疑付费版本在学习技术概念方面是否表现显著更好。

研究者提出 SHADE，一种混合估计器，在仅能获取少量黑盒样本时，融合 Good-Turing 覆盖率与图谱线索，量化语义不确定性并检测大模型幻觉。

本论文提出了一个利用内部表示而非输出层统计的LLM共形预测框架，引入层级信息（LI）评分作为非一致性度量，在分布偏移下改进有效性-效率权衡。该方法在QA基准上相比文本级基线展现出更强的对校准-部署不匹配的鲁棒性。

这件事发生在几小时前，我感觉自己确实偶然发现了一个值得为关注 AI 行为的人记录下来的案例。我会尽量精确地还原整个时间线，因为事件的先后顺序在此处至关重要。如果你想自己阅读完整聊天记录：https://g.co/gemini/share/0cb9f054ca58 --- **背景** 我当时正在使用付费版 Gemini 最先进的模型来分析 AAVE 上的实时加密交易。该代币在过去一小时内毫无征兆地下跌了 7–9%，没有任何新闻能够解释，而...

MIT研究人员开发了一种新方法，通过衡量相似模型间的跨模型分歧来识别过度自信的LLM，而非仅依赖自洽性指标。该方法能更好地捕捉认知不确定性，并在高风险应用中更准确地识别出不可靠的预测。