calibration

Fovea-4B 是一个拥有 40 亿参数的开放权重视觉模型，将 Jev 风格的类型化决策契约引入图像，在 ImageJev 风格任务中以 80.6 的机会校正准确率和出色的校准表现（ECE 0.035）领先，并以 Apache-2.0 许可证发布。

本文提出了 PACE（代理对齐与曲率展开），一种优化前诊断方法，利用重复的人类评分来预测由固定代理指标诱导的人类评价增益曲线。该方法将代理指标优化建模为带有 KL 正则化的指数倾斜，并包含一阶对齐项和二阶修正项。结果表明，该方法在多个基准上降低了留出数据上的增益预测误差。

该论文研究了三种校准方法——HiGPTQ、HiAutoRound 和 HiFlatQuant——用于采用 HiFloat4 块浮点格式对大语言模型进行量化，将与 BF16 的精度差距缩小至 1% 以下，并在不同模型和任务上优于 NVFP4。

本文介绍了 FABench，这是一个面向预测智能体的可扩展回测环境，通过自动化流水线发现事件、生成问题并判定结果，以避免训练截止时间导致的信息泄漏。研究评估了基于八个近期模型构建的智能体，发现检索能持续改善布里尔评分，并使表现领先的智能体达到 Polymarket 市场共识的水平，同时揭示了反复出现的证据权重分配失误。

该论文在 232 篇 ICLR 2025 投稿上，对五种基于大语言模型的评审范式、三种输入表示形式和三个大语言模型进行了对比评估。结果发现：直接评分在经过重新校准后与相对排序结果一致，且 API 调用次数大幅减少；仅使用摘要的输入效果优于全文摘要输入；除 Group Rating 范式外，人类评分在预测论文引用数方面仍优于任何大语言模型范式。

EDU-Jev 推出了一系列单次前向传播的“系统一”决策模型（0.8B/2B/4B），可针对教育评估任务输出固定选项的概率分布，在十二项基准测试中达到 67.6% 的平均准确率，比领先的商业决策 API 高出 9.4 个百分点。

该论文介绍了 EDB-Bio，这是一个包含 9.6 万个回合、涵盖三个生物学领域的科学证据审议基准。结果表明，前沿模型和开放权重模型普遍倾向于置信度不足（布里尔分数接近仅依据基础发生率进行预测的简单模型），而使用适当评分规则进行后训练可改善校准，由此得到的 Ibis0 模型在序贯实验选择中的效率达到最佳前沿模型的 2.5 倍。

ThinkJev 是一种无需训练的方法，基于单个混合思考开放模型构建快速（系统 1）和慢速（系统 2）作答路径，直接读取或在经过可变长度的思考后读取经过校准的选项概率，因此仅在统计上保证达到目标错误率所需时才付出思考成本。

该论文构建了涵盖五种幻觉类型的二元基准（来自六个数据集的9,852个样本），比较了五种决策模型与生成式裁判GPT-6-sol在幻觉检测上的表现，发现决策模型在部分类型上以1-3%的成本匹敌或超越生成式裁判，但在逻辑与指令不一致类型上仍有差距且概率存在过度自信问题。

该论文精确计算了语言模型在被要求随机选数时对每个整数的完整概率分布，发现指令调谐使分布更不均匀：安装了避免轮数的启发式并强化了避免端点值的倾向，但未产生跨模型共享的偏好整数。

MedJev 是一个可在笔记本本地运行的开源 System-One 医疗模型，在十项医学基准上进行零样本评测，性能接近 GPT-4，并提出两参数再校准方法显著改善患者级概率校准。

该论文提出知识冲突的解决不应依赖固定的启发式规则，而应引入对上下文可靠性的事先概率先验；在 GRACE 与 ClashEval 基准上，基于先验偏移的双声部选择器在各种上下文混合比例下显著优于现有基线。

本文提出了误差子空间校准（ESCal），这是一种模型合并后校准框架，通过专家模型与合并模型之间的权重差异识别低维误差子空间，并利用轻量级桥接模块恢复特定任务的行为。在视觉和自然语言理解基准上的实验表明，ESCal 能够在多种架构和合并方法下提升合并模型的性能。

该论文提出了一个针对法语表层变体（省略撇号、去除变音符号、键盘输入错误）的受控基准，涵盖七项任务，共包含12,600个输入。结果表明，随着扰动强度增加，准确率下降，Brier分数和负对数似然（NLL）上升，而将校准与输入还原相结合可提高可靠性。

本文在内容审核任务上，将一个成本低廉、参数冻结的“系统一”分类模型与14个前沿大语言模型进行对比评估，发现其准确率具有竞争力，而成本远低于后者，并表明“置信度”混淆了两种不同的不确定性——人类意见分歧与决策风险——而这两者需要方向相反的升级处理信号。

研究比较了 System One（决策）模型与标准重排器微调在检索重排任务上的表现，发现决策微调在所有参数量低于 90 亿的 Qwen 骨干模型上均不如直接进行重排器微调，nDCG@10 差距达 5 到 29 分，结论是如果需要重排器，就应该直接微调重排器。

一项针对六种前沿大语言模型的行为案例研究发现，它们自信地将一名17岁考生的试题答案误判为成年人所写，其自述置信度与判断的正确性不相关或呈负相关；它们虽能在事后明确指出自身偏见，却无法借此改善盲评时的判断。

该论文证明在基于正确性奖励的价值函数强化学习中，置信度估计与critic训练是等价问题，因此已有的RL critic可直接复用为LLM的置信度估计器，无需额外训练或数据，且在数学、代码、工具调用等多个领域中表现出最佳的置信度估计与校准性能。

论文提出 SearchHorizonBench，一个用于评估 AI 智能体从执行经验中估计搜索价值的基准数据集，包含 45,632 次执行记录，发现历史校准可将 Brier 误差降低 16.2%，但历史估计器仅能解释不到 2% 的搜索增益方差。

本文识别并形式化了“推理时模型偏移”——一种由量化、温度等推理配置的变化而非数据分布变化引起的共形分数分布变化——并通过对8个语言模型和4个有限标签基准的研究表明，这种偏移会破坏分割共形预测的可交换性假设，并导致对部署时覆盖率的高估。