标签
提出 MED3pa + Detectron 的统一诊断流程,通过定位低置信度患者子群并检测有害协变量偏移,来评估临床预测模型的可靠性;在 MIMIC-IV 三个临床任务上验证了局部偏移检测的价值。
研究评估了大语言模型在患者证据随时间演变时更新临床判断的可靠性,发现模型存在对恶化证据反应过度、受先验判断因果影响等失败模式,并提出EVLU方法来识别更可靠但覆盖更少的判断修订,确立了纵向信念更新作为LLM可靠性的独立评估维度。
这篇 NeurIPS 2026 工作坊论文提出了 Long-Transduction——一个受控的诊断基准,用于衡量模型在长生成过程中维持有状态、依赖上下文的操作的能力。在对七个开放权重模型的评估中,论文发现,当上下文长度扩展(最高达 128K)、输入格式变化以及局部任务复杂度增加时,模型性能会出现严重退化。
本文分享了七个实用的基于代码的守护措施,通过减轻失败来使AI代理更加可靠,例如在执行前验证操作和确保状态一致性,这些措施补充了提示改进。
文章描述了Telnyx通话中AI语音模型因工具调用而过早结束的错误,修复方案涉及实现代码防护以防止过早终止,突出了模型控制操作的可靠性问题。
本文介绍了PLSP这一用于分布外预测的先验框架,利用可信度度量来增强机器学习模型的可靠性。
作者在某个研究任务上对多个AI模型进行了对比测试,发现模型有时会自信地给出不同答案。他们建议,对于规划、代码审查或研究等重要决策,AI代理应考虑多个模型的观点,并询问他人如何处理这一问题。
关于符号回归中不确定性量化的全面综述,回顾了频率学派、贝叶斯以及模型选择方法,以解决在现实决策过程中缺乏可靠性支持的问题。