reasoning-models

该论文用信号处理工具审计了 DeepConf 等基于 token 置信度的推理链筛选方法，发现滑动窗口最小置信度分数主要度量的是链的长度，剔除长度因素后该分数对正确性几乎不携带额外信息，按长度排序效果相同甚至更好。

本文提出 CARD（Cognition-Aligned Reasoning Distillation），一种基于 RL 的推理蒸馏框架，将大推理模型的求解轨迹转化为与学生模型认知能力对齐的教学轨迹，通过分布对齐奖励和逻辑连贯性奖励在不重新采样的情况下提升蒸馏效果。

论文提出 WISD（Weakening-Induced On-Policy Self-Distillation），通过将大推理模型与量化的弱化版本进行对比生成训练信号，在无需特权数据的情况下实现自蒸馏，在数学与代码推理基准上平均提升 4.0–5.5 个百分点并达到最先进性能。

The paper introduces REACT, a conditional activation intervention that learns a safety direction from paired safe/unsafe chain-of-thought trajectories and applies a single early edit to frozen reasoning models, boosting fully safe outputs on StrongREJECT-273 from 29.06% to 82.05% and showing that the most effective intervention window lies within the first two to three CoT tokens.

Sebastian Raschka released an 11-hour, eight-video course on building reasoning models from scratch in PyTorch, covering evaluation, inference scaling, reinforcement learning with verifiable rewards, and distillation, serving as a sequel to his earlier Coding LLMs from the Ground Up course.

研究通过预注册的受控实验比较了声明式动画规格与自由HTML/JavaScript代码两种LLM生成解释的方案，发现规格虽更短，但由于推理开销增加并未更便宜、更快或更可靠，小模型的规格可靠性甚至显著更低。

ThinkBit 是一个严格标量的两比特量化框架，通过分层比特分配、Gumbel-softmax 搜索码字、知识蒸馏重校准和量化感知训练来保留推理能力，在 Qwen3-1.7B 和 14B 模型上以远小于 bfloat16 的体积取得接近原模型的 MATH-500 成绩。

作者讲述了自己构建基于Lean的自动定理证明系统的经历，并亲身体验了"苦涩的教训"——模型能力的提升（如GPT-5.6 Sol）远比大量工程优化更能推动进展。

该论文对大语言模型的位置偏差进行了全面研究，覆盖从十亿到万亿参数规模的模型及五种语言。研究发现模型规模增大、思维链提示以及新兴的思考模型能显著缓解甚至几乎消除位置偏差。

该论文系统评估了大型推理模型在日常语言与语用推理任务上的表现，发现当日常推理偏离形式逻辑规则时，推理模型性能显著下降，且部分非推理模型配合思维链提示反而表现更好。

GPT-6 Astra ranks #1 in scientific research benchmarks, beating Claude Sonnet 5.5 while using 22× fewer tokens, and GPT-6.1 Sol also outperforms Sonnet at nearly 1/10th the cost, suggesting scientific research is scaling with compute.

该推文猜测即将发布的 Qwen 4 系列模型是否会减少思考（thinking）token 的消耗，作者认为在保持或提升智能的同时少思考是最大的升级方向。

北京大学与三星的最新论文提出 RealtimeBench（6款游戏、180个实时任务）与 TORSI 方法，让慢速推理模型在局间离线分析快速模型的失败并生成指令，使快速模型在实时游戏中的平均分从 13.51 提升到 24.19。研究揭示了在世界持续运行的实时场景中，慢速强推理模型反而会落后于快速模型的问题。

该研究考察推理模型的额外思考如何影响其对日常语用含义的理解，发现思考会使模型将"some"和"or"按字面逻辑解读，取消了通常的言外之意，并提出了一种在推理时从早期解读作答的补救方法。

提出LayerTrim——一种无需训练的结构化剪枝方法，通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征，显著缓解了推理语言模型在长链推理任务上的性能崩溃，在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。

该论文从蒸馏目标本身推导 token 重要性（基于局部 KL 预算下的损失可降幅度，即 logit 梯度与 Fisher 矩阵构成的效用分数），并实例化为 Fisher Utility Weighting（FUW），在七个数学推理基准和三组 Qwen3 师生模型上相对均匀 OPD 提升 1.08–4.0 个宏平均百分点。

OpenAI据报正加紧确保其下一代旗舰模型的安全发布，此前已因安全顾虑取消了一个较弱的模型版本，并将10%的算力 diverted 到安全工作；其新型循环架构使AI推理更难监控，美国政府的测试可能导致发布延迟最多30天。

DoubtLess 提出一种免训练的对比解码方法，用一个更小的推理模型引导大模型输出更简洁的思维链，在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变，优于五个推理时基线。

A head-to-head comparison of three local models—GLM 5.3 Flash, DeepSeek V4.1, and Qwen 3.8 Flash Next—each generating a cinematic 3D Three.js spiral galaxy HTML file on DGX Sparks, with stats on tokens, generation time, throughput, and fixes needed.

Toby Ord 的文章探讨 AI 模型通过更多 token 扩展的效果是否与人类通过更多时间扩展的效果相当，分析了 METR 的对比数据，并讨论了这一问题对 AI 自我改进与智能爆炸前景的影响。