标签
本文介绍了一种即插即用的校准模块，该模块在融合前调整多模态表示，利用跨模态上下文抑制误导信号，增强可靠信号，从而在多个基准测试上提升性能。
本文从几何角度分析了为何作为裁判的LLM彼此之间高度一致，但与人类仅弱相关，发现LLM间共识在主观评分标准上反映的是坍塌子空间，而非真正的人类对齐。基于人类数据的后验校准提高了对齐，但即使经过校准的LLM也未达到人类的可靠性。
本文介绍了自我评估激发（SEE）方法，该方法通过校准耦合的强化学习和掩码蒸馏，用极少数据激发基础大语言模型中的潜在评判校准，在保持答案质量的同时提升了跨基准的校准效果。
本文探究为何经过指令微调的大语言模型对其自身回应表现出过度自信，并识别出一种“所有权偏差”，即模型对自我生成的答案赋予更高置信度。文章提出一种简单的推理时策略，将模型答案重新表述为用户输入，无需重新训练即可将校准度提升高达26%。
本文研究大语言模型的不确定性与人类不确定性的相似程度，探讨LLMs在多个数据集上的对齐、校准和激活模式，以及指令微调的影响。
本文形式化了概率标签排序的校准定义，引入了校准概念的层次结构，并表明常见模型校准不佳。进一步展示了在RLHF奖励模型中的应用，其中校准与准确性相关但不完全相同。
本文提出了一种新的模型合并框架，将问题转化为关于残差更新的凸二次规划，以最小化平方输出的校准目标。该框架涵盖现有的启发式方法，并提供了一种闭式诊断指标来预测合并质量，在语言和视觉基准测试中持续取得改进。
ChaosBench-Logic v2是一个包含165个动态系统共40,886个问题的大规模基准测试，用于评估LLM的逻辑推理能力，结果显示即使在最前沿的模型中，在状态转变推理上也接近随机表现，并存在系统性失败模式。
本文研究了前沿大语言模型是否表现出个体化元认知——即超越共享信号评估自身项目级别能力的能力。通过对20个模型和六个基准进行因子分析和成对校准，作者未发现此类元认知的证据；置信度差异归结为一个单一的共享难度因子，表明模型依赖于共同的难度信号而非模型特定的自我认知。
本文发现了LLM中介的普适系统中的“权威倒置”现象，即模型更倾向于信任自然语言形式的用户主张而非数值传感器数据。研究提出了几何审计指标（CIR、AAI）和一种推理时校准方法（GAC）来纠正这种偏差，显著提升了准确性。
本文探讨了在使用LLMs执行简单认知任务时，预期与实际时间节省之间的不匹配，揭示了一种加速错觉：用户低估了AI辅助完成时间，尽管实际并无加速。
本文刻画了多类分类中离散属性的近似属性校准，利用Lipschitz连续属性作为中介，将复杂度从类别数量降低到诱导复杂度维度。
本文表明，对于具有多模态后验的逆问题，像RMSE和MAE这样的点态指标在结构上具有误导性，因为最优点估计会压缩后验并扭曲谱特征。为此，本文提出了一种三部分评估协议，使用逐事件分布准确性、谱保真度诊断和基于覆盖的校准来应对这些失败。
本文介绍了一种校准语言模型不确定性的方法，该方法从每层MLP更新轨迹中提取十一个尺度不变几何特征，并将其输入稀疏线性探测器，在选择性弃权条件下比MSP表现更好，AURC分数最高提升21点。
一项研究评估了前沿模型预测科学进展的能力，涵盖4760个事件，发现它们可以识别可能的方向，但无法可靠预测结果或时间线，且存在系统性过度自信。
本文认为，在生产AI中，评估是最难的问题，而非生成，并将AI的自我知识分解为校准、判别和表达，这对系统设计具有启示意义。
本研究评估了五种用于慢性肾脏病风险预测的机器学习分类器，发现近乎完美的内部性能在分布偏移下失效。强调在临床部署前需要校准稳定性和共形覆盖迁移。
本文评估了表格基础模型（尤其是TabPFN）用于近红外光谱数据标定的效果。与传统化学计量学方法相比，该模型在回归和分类任务上表现出强劲性能。
介绍了反思式提示调优（RPT），一种利用LLM函数调用，基于系统性错误模式迭代诊断和修改提示的框架，从而提升推理任务性能和校准能力。
本文重新审视了语言模型机器遗忘背景下的可靠性悖论，证明模型在依赖基于捷径的决策规则的同时能够实现较低的校准误差，从而将该悖论扩展至未学习模型。