标签
该论文用信号处理工具审计了 DeepConf 等基于 token 置信度的推理链筛选方法,发现滑动窗口最小置信度分数主要度量的是链的长度,剔除长度因素后该分数对正确性几乎不携带额外信息,按长度排序效果相同甚至更好。
本文提出 CARD(认知对齐推理蒸馏),一种基于强化学习的推理蒸馏框架,将大型推理模型的求解轨迹转化为与学生模型认知能力对齐的教学轨迹,通过分布对齐奖励和逻辑连贯性奖励,在不重新采样的情况下提升蒸馏效果。
论文提出 WISD(弱化诱导的同策略自蒸馏),通过将大型推理模型与其量化弱化版本进行对比来生成训练信号,在无需特权数据的情况下实现自蒸馏,在数学与代码推理基准上平均提升 4.0–5.5 个百分点,并达到最先进性能。
该论文提出REACT,一种条件激活干预方法,它从配对的安全/不安全思维链轨迹中学习一个安全方向,并对冻结的推理模型施加单次早期编辑,使StrongREJECT-273上的完全安全输出率从29.06%提升至82.05%,并表明最有效的干预窗口位于思维链的前两到三个token内。
Sebastian Raschka 发布了一套时长 11 小时、共 8 个视频的课程,讲解如何在 PyTorch 中从零构建推理模型,涵盖评估、推理扩展、基于可验证奖励的强化学习以及知识蒸馏等内容,是其此前《Coding LLMs from the Ground Up》课程的续作。
研究通过预注册的受控实验比较了声明式动画规格与自由HTML/JavaScript代码两种LLM生成解释的方案,发现规格虽更短,但由于推理开销增加并未更便宜、更快或更可靠,小模型的规格可靠性甚至显著更低。
ThinkBit 是一个严格标量的两比特量化框架,通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上,它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。
作者讲述了自己构建基于Lean的自动定理证明系统的经历,并亲身体验了"苦涩的教训"——模型能力的提升(如GPT-5.6 Sol)远比大量工程优化更能推动进展。
该论文对大语言模型的位置偏差进行了全面研究,覆盖从十亿到万亿参数规模的模型及五种语言。研究发现,模型规模增大、思维链提示以及新兴的思考模型能够显著缓解甚至几乎消除位置偏差。
该论文系统评估了大型推理模型在日常语言与语用推理任务上的表现,发现当日常推理偏离形式逻辑规则时,推理模型性能显著下降,且部分非推理模型配合思维链提示反而表现更好。
GPT-6 Astra 在科学研究基准测试中排名第一,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5,而 GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet,这表明科学研究正在随算力扩展。
该推文猜测即将发布的 Qwen 4 系列模型是否会减少思考(thinking)token 的消耗,作者认为在保持或提升智能的同时少思考是最大的升级方向。
北京大学与三星的最新论文提出 RealtimeBench(6 款游戏、180 个实时任务)与 TORSI 方法,让慢速推理模型在局间离线分析快速模型的失败并生成指令,使快速模型在实时游戏中的平均分从 13.51 提升到 24.19。研究揭示了在世界持续运行的实时场景中,慢速强推理模型反而会落后于快速模型的问题。
该研究考察了推理模型的额外思考如何影响其对日常语用含义的理解,发现思考会使模型按字面逻辑解读“某些”和“或”,消除通常隐含的言外之意,并提出了一种在推理过程中依据早期解读作答的补救方法。
提出LayerTrim——一种无需训练的结构化剪枝方法,通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征,显著缓解了推理语言模型在长链推理任务上的性能崩溃,在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。
该论文从蒸馏目标本身推导词元重要性(基于局部 KL 预算下的损失可降低幅度,即由逻辑值梯度与费舍尔矩阵构成的效用分数),并将其具体实现为费舍尔效用加权(FUW),在七个数学推理基准和三组 Qwen3 师生模型上,相较于均匀 OPD,宏平均得分提升了 1.08–4.0 个百分点。
据报道,OpenAI正加紧确保其下一代旗舰模型安全发布,此前已因安全顾虑取消了一个较弱的模型版本,并将10%的算力转用于安全工作;其新型循环架构使AI推理更难监控,美国政府的测试可能导致发布最多延迟30天。
DoubtLess 提出一种免训练的对比解码方法,用一个更小的推理模型引导大模型输出更简洁的思维链,在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变,优于五个推理时基线。
对三个本地模型——GLM 5.3 Flash、DeepSeek V4.1 和 Qwen 3.8 Flash Next——进行正面对比:每个模型都在 DGX Sparks 上生成一个具有电影质感的 3D Three.js 螺旋星系 HTML 文件,并统计 token 数、生成时间、吞吐量和所需修复。
Toby Ord 的文章探讨 AI 模型通过更多 token 扩展的效果是否与人类通过更多时间扩展的效果相当,分析了 METR 的对比数据,并讨论了这一问题对 AI 自我改进与智能爆炸前景的影响。