标签
OpenAI 发布了一个新仓库,收录其未公开内部模型产生的 719 篇数学手稿(归为 372 个结果族),涵盖黎曼 zeta 函数零点区域、Mahler 猜想、自由群因子同构等前沿问题,其中约 42% 的结果已用 Lean 形式化验证,并附带部分推理过程摘要。
ReCal 是一种即插即用的校准方法,在结构化剪枝前通过教师-剪枝探针间的前向 KL 识别受损预测并重加权校准统计,从而提升剪枝模型在在线策略蒸馏(OPD)后的恢复效果,在 AIME 上最高提升 16.7 个百分点。
OpenAI 发布了一个仓库,包含由其未公开内部模型产出的 719 篇数学手稿(372 个结果族),并附带部分 Lean 形式化证明与推理摘要;据标题消息,其中 3 篇论文已被撤回。
该论文研究了推理模型在不同思考预算下是否表现出更少的认知偏误,结果发现增加推理token并不会降低偏误,部分偏误甚至与人类方向相反,表明测试时推理不能保证决策理性。
一篇思辨性文章提出假说:美国担心中国进行模型蒸馏,正导致OpenAI和Anthropic等实验室刻意模糊模型的推理过程,这不仅恶化了对齐的可见性,还制造出连其所有者都无法审问的黑箱系统。
DFlash 2 是来自 z-lab/haoailab 的轻量级块扩散模型,专为 Flash 投机解码设计,能够在多种主流开源 LLM 系列上实现高效的高质量并行草稿生成,相关检查点已在 Hugging Face 上发布。
Simon Willison 在本地运行的 Qwen3.8-27B(Q4_K_M)上进行了一项受控基准测试,让模型将最多 13 位整数的精确加法结果仅以英文单词形式输出,复现了早期一个 GPT-4o 的实验。在禁用推理功能的情况下,模型的整体准确率仅为 23.57%——从 1–3 位数操作数上的约 97% 骤降至 10–13 位数上的约 6%,尽管格式合规率高达 96.17%。
一条推文讽刺了围绕“由于不透明内部推理而丧失思维链可监控性”展开的 AI 安全领域讨论,借用了归于 Miles Brundage 的一句话并加以戏仿。
Sebastian Raschka 的第六期「从零开始推理」视频介绍并实现了基于可验证奖励的强化学习(RLVR)和群体相对策略优化(GRPO),涵盖奖励设计、优势计算、GRPO 损失以及 MATH-500 训练结果。
论文揭示了自我进化推理模型性能崩塌的原因——无效问题与数学上等价的问题重复,并提出 R-Quest,利用有效性与新颖性反馈来维持自我进化,在 12 个基准上经过十轮迭代后,比 R-Zero 高出 17.32 分。
社区讨论指出,相比早期版本(如 Claude 3.6 与 3.8),新的开源模型在非思考/instruct 模式下的性能退化更明显,并呼吁实验室在提升推理能力的同时,继续重视 instruct 模式的性能表现。
Yohei Nakajima 思考道,决策模型本质上是通过剥离推理链条得到的,这似乎假设了决策先于推理——质疑这种思路是否反映了推理实际运作的方式。
本文分析了在线自蒸馏(OPSD)中对前向 KL 目标进行逐点裁剪为何会适得其反:论文通过理论证明与实证实验表明,被裁剪的目标可能会将 token 概率推离教师模型,从而导致推理输出中出现持续的 token 重复现象。
本文提出了一种名为 Tokenwise Residual Comparison(TRC)的方法,该方法从 LVLMs/LLMs 生成过程中的残差流动力学中定位重复异常并进行选择性抑制,将循环率平均降低 57%,同时表明重复语义在浅层出现并随后向深层传播。
StreamDecisionBench(SDB)将语言模型作为应用中的实时决策组件进行评估,测量模型在不断演化的证据流上的“生效决策”表现,并将错误归因于判断、延迟或两者兼有。在四个托管模型上的评测显示,推理能力提升了判断质量,但带来了显著的延迟成本;而一个更快但更弱的组件所取得的综合评分,与一个更强的非推理模型相当。
该论文提出了 OpenJev-RLCD,这是针对推理模型的校准决策强化学习(Reinforcement Learning for Calibrated Decisions,RLCD)的一个可用的开源实现。它采用「先校准,再强化」的方案,并使用适当评分规则,在性能上达到或超越 SFT、RFT/STaR 以及带温度缩放的 GRPO,尤其在选择性预测方面表现突出(例如在误差率 ≤5% 的决策覆盖中,GSM8K 上达到 81%,而 GRPO 仅为 19%)。
本文提出 RADAR 方法,将大型推理模型的生成过程建模为四种状态,并利用动态注意力响应在重复出现之前检测不受控推理。该方法提出注意力重对齐(Attention Realignment)机制以纠正异常的注意力分布,在保持良性性能的同时减少生成循环。
Wayne State University 的一篇论文提出了 DSAR 指标,用于量化大型推理模型中推理过程与最终答案之间的不一致性,并提出了基于强化学习的方法 SARA,通过奖励具备安全意识的推理来缓解在标准预填充攻击和对抗性预填充攻击下的欺骗性安全对齐。
研究显示,推理语言模型中的思维对反事实公平性具有不对称的双重影响:它解决了一些偏见但创造了更多偏见,后者在不同模型和数据集上约为前者的五倍。
本文提出一种轻量级的、基于规则的多样化SFT轨迹选择器,以提升推理模型在后RL阶段的泛化能力,并在数学基准测试中展示了显著的性能提升。