标签
本文提出了在线局部化共形预测（OLCP），旨在解决在线学习和时间序列设置中的协变量异质性问题。文章引入了用于带宽选择的 OLCP-Hedge 算法，并证明与现有基线相比，该方法在获得更窄预测集的同时，仍能保持有效的长期覆盖率。
本文提出了一种分布对齐对抗性蒸馏（DisAAD）方法，该方法使用一个轻量级代理模型，仅以原始模型1%的规模来估计黑盒大语言模型的不确定性，实现了无需内部参数或多次采样的可靠量化。
MIT CSAIL 研究人员提出 RLCR 方法，在强化学习中引入布雷尔分数（Brier scores），训练 AI 模型输出经过校准的置信度估计，在显著降低过度自信的同时，不牺牲准确率。
研究者提出 SHADE，一种混合估计器，在仅能获取少量黑盒样本时，融合 Good-Turing 覆盖率与图谱线索，量化语义不确定性并检测大模型幻觉。
本论文介绍了FRANQ方法，用于检测检索增强生成(RAG)系统中的幻觉问题。该方法应用不同的不确定性量化技术来区分事实性和对检索上下文的忠实性。作者构建了一个同时标注事实性和忠实性的新数据集，并证明FRANQ在多个数据集和大语言模型上的事实错误检测性能优于现有方法。
本论文提出了一个利用内部表示而非输出层统计的LLM共形预测框架，引入层级信息（LI）评分作为非一致性度量，在分布偏移下改进有效性-效率权衡。该方法在QA基准上相比文本级基线展现出更强的对校准-部署不匹配的鲁棒性。
MIT研究人员开发了一种新方法，通过衡量相似模型间的跨模型分歧来识别过度自信的LLM，而非仅依赖自洽性指标。该方法能更好地捕捉认知不确定性，并在高风险应用中更准确地识别出不可靠的预测。
OpenAI研究人员展示了GPT-3可以学会用自然语言表达关于其答案的标定不确定性，而无需使用模型logits。他们引入了CalibratedMath基准套件来评估这种能力。这种方法在分布漂移下表现出强劲的泛化能力，代表了模型首次表达关于其自身预测的良好标定口头不确定性的证据。