标签
NVIDIA 发布了 Ising Calibration 1.5，这是一个开源视觉语言模型，通过增强的上下文学习和改进的性能实现量子计算机的完全自动化校准，现在可以部署在单个 GPU 上。
本文介绍了一种面向多LLM预测聚合的不确定性感知信任估计方法，该方法改编自结构化专家判断，采用库克风格对数加权来惩罚过度自信的错误预测。在MMLU和MMLU-Pro上的评估表明，该方法在异构和受污染的专家面板下实现了优越的准确性与可靠性平衡。
介绍了CANDOR，一种针对冻结基础编码器的概率校准不一致性度量，它纠正了流行偏倚，揭示了没有编码器是完全盲目的，但所有编码器在细粒度发现方面都很弱。
本文介绍了一种名为证据链评估（ECE）的选择性事实核查框架，该框架允许基于LLM的验证代理在证据薄弱、稀疏或不一致时放弃给出判断。在ECE-Bench上，ECE实现了93.7%覆盖率下的97.8%选择性准确率，展示了处理认知薄弱证据时面向安全性的权衡。
本文介绍SEB-Cal，一种通过频谱特征（频带能量、熵、峰值主导性、相位稳定性）增强输出空间校准的方法，以改善时间序列分类中的选择性可靠性估计，在多个数据集上实现更高的Corr-AUROC和更低的[email protected]。
本文介绍了FALCON-Discover，这是一个事后（post-hoc）框架，用于发现模型预测高置信度但错误的区域，将校准重点从总体指标转向样本级的危险故障。
CardioMeta是一个校准的多任务框架，用于在NHANES和MIMIC-IV数据上联合预测糖尿病、高血压和心血管疾病，强调泄漏控制、校准和透明可靠性。
本文研究了当温度缩放——一种依赖独热标签的常见事后校准方法——应用于反映真实人类分歧的软标签分布训练模型时所产生的校准差距。跨视觉和语言领域的实验表明，基于硬标签校准的温度缩放始终逊于直接软标签校准，且在语言任务中差距更大，凸显了在安全关键部署中的风险。
A. P. Dawid 于 1982 年发表的经典论文，论述了良好校准的贝叶斯概率预测的概念，是统计学和机器学习领域的基础性工作。
本文表明，在没有提供参考答案的情况下，LLM评委倾向于对错误答案给予过多评分，而添加参考可以将判定结果翻转多达85%，从而更符合人类判断。作者提出了在无参考设置中使用LLM评委的校准步骤。
介绍Critic Experience Bank (CEB)，一个用于LLM智能体逐步置信度估计的自我演进批评框架，利用过去判断和后果的记忆库来改进校准，无需训练。
本文诊断并提出SoftClamp校准方法，可减少智能语言模型在多教师策略蒸馏中的工具调用边界漂移，在保持准确率的同时降低过度调用。
一篇研究论文，提出了Color Pass-Through，这是一个端到端学习框架，将相机和显示器视为一个耦合系统，以提高屏幕上图像的颜色准确性，相较于基线取得了显著提升。
本文提出了两种新的归一化技术（平方根校正和罕用词校正），用于从LambdaG作者验证方法推导似然比，无需单独校准模型，减少了数据需求和复杂性，同时在法医文本比较中实现了相当或更优的性能。
Agora引入了一种基于拍卖的任务分配机制，用于LLM智能体，将推理步骤视为可交易物品，并使用校准后的置信度将任务路由到最有能力的专家模型，从而在多个基准测试中提升推理性能。
谷歌研究人员表明，强化学习可以利用量子纠错中的错误检测数据持续重新校准控制参数，从而实现稳定的长时间计算，无需为重新校准而停机。
介绍LiST，一种利用利普希茨约束实现鲁棒且校准神经网络的训练范式，在准确率-鲁棒性帕累托前沿上选择最优工作点。在CIFAR和Tiny-ImageNet上展示了具有竞争力的性能。
本文探测LLM预测模型的内部表征，以改进校准并评估思维链推理的忠实性。研究发现，探针能够实现更好的校准，并充当谎言检测器。
提出尾部感知信用校准（TACO），通过校准统一信用分配以抑制对不可信尾部令牌的更新，解决大语言模型强化学习中的正向信用污染问题，提升训练稳定性和性能。
本文研究了在大型语言模型（LLM）答案生成过程中置信度相关信息的演化，并提出了未来置信度蒸馏方法。该方法利用后解决方案正确性探针生成的教师置信度估计，对前解决方案隐藏表示进行预测器训练，从而实现可靠且样本高效的置信度估计。