reasoning-models

标签

Cards List
#reasoning-models

词元置信度仅仅反映推理链长度吗?对推理轨迹的信号处理审查

arXiv cs.CL ↗ · 2026-10-28 缓存

该论文用信号处理工具审计了 DeepConf 等基于 token 置信度的推理链筛选方法,发现滑动窗口最小置信度分数主要度量的是链的长度,剔除长度因素后该分数对正确性几乎不携带额外信息,按长度排序效果相同甚至更好。

0 人收藏 0 人点赞
#reasoning-models

从求解轨迹到教学轨迹:认知对齐的推理蒸馏

arXiv cs.AI ↗ · 2026-10-28 缓存

本文提出 CARD(认知对齐推理蒸馏),一种基于强化学习的推理蒸馏框架,将大型推理模型的求解轨迹转化为与学生模型认知能力对齐的教学轨迹,通过分布对齐奖励和逻辑连贯性奖励,在不重新采样的情况下提升蒸馏效果。

0 人收藏 0 人点赞
#reasoning-models

以弱促强:面向大型推理模型的弱化诱导同策略自蒸馏

Hugging Face Daily Papers ↗ · 2026-10-28 缓存

论文提出 WISD(弱化诱导的同策略自蒸馏),通过将大型推理模型与其量化弱化版本进行对比来生成训练信号,在无需特权数据的情况下实现自蒸馏,在数学与代码推理基准上平均提升 4.0–5.5 个百分点,并达到最先进性能。

0 人收藏 0 人点赞
#reasoning-models

REACT:思维链轨迹的表征早期分析与控制

arXiv cs.LG ↗ · 2026-10-27 缓存

该论文提出REACT,一种条件激活干预方法,它从配对的安全/不安全思维链轨迹中学习一个安全方向,并对冻结的推理模型施加单次早期编辑,使StrongREJECT-273上的完全安全输出率从29.06%提升至82.05%,并表明最有效的干预窗口位于思维链的前两到三个token内。

0 人收藏 0 人点赞
#reasoning-models

Sebastian Raschka 从零构建推理模型的视频课程

Hacker News Top ↗ · 2026-10-26 缓存

Sebastian Raschka 发布了一套时长 11 小时、共 8 个视频的课程,讲解如何在 PyTorch 中从零构建推理模型,涵盖评估、推理扩展、基于可验证奖励的强化学习以及知识蒸馏等内容,是其此前《Coding LLMs from the Ground Up》课程的续作。

0 人收藏 0 人点赞
#reasoning-models

更短不意味着成本更低:用于大语言模型生成解释的声明式动画规范与自由形式代码的受控比较

arXiv cs.CL ↗ · 2026-10-26

研究通过预注册的受控实验比较了声明式动画规格与自由HTML/JavaScript代码两种LLM生成解释的方案,发现规格虽更短,但由于推理开销增加并未更便宜、更快或更可靠,小模型的规格可靠性甚至显著更低。

0 人收藏 0 人点赞
#reasoning-models

ThinkBit:搜索码字、重校准缩放、以推理选优

Hugging Face Daily Papers ↗ · 2026-10-26 缓存

ThinkBit 是一个严格标量的两比特量化框架,通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上,它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。

0 人收藏 0 人点赞
#reasoning-models

自动定理证明中的苦涩教训(13分钟阅读)

TLDR AI ↗ · 2026-10-26 缓存

作者讲述了自己构建基于Lean的自动定理证明系统的经历,并亲身体验了"苦涩的教训"——模型能力的提升(如GPT-5.6 Sol)远比大量工程优化更能推动进展。

0 人收藏 0 人点赞
#reasoning-models

关于大语言模型的位置偏差:一项综合研究

arXiv cs.CL ↗ · 2026-10-19 缓存

该论文对大语言模型的位置偏差进行了全面研究,覆盖从十亿到万亿参数规模的模型及五种语言。研究发现,模型规模增大、思维链提示以及新兴的思考模型能够显著缓解甚至几乎消除位置偏差。

0 人收藏 0 人点赞
#reasoning-models

大型推理模型擅长日常推理吗?在逻辑推理任务上与非推理模型的比较

arXiv cs.AI ↗ · 2026-10-19 缓存

该论文系统评估了大型推理模型在日常语言与语用推理任务上的表现,发现当日常推理偏离形式逻辑规则时,推理模型性能显著下降,且部分非推理模型配合思维链提示反而表现更好。

0 人收藏 0 人点赞
#reasoning-models

AI 在真实科研中越来越强,同时成本大幅下降。GPT-6 Astra 在科学研究领域登顶,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5。GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet。科学研究正开始随算力扩展。

Reddit r/singularity ↗ · 2026-10-18

GPT-6 Astra 在科学研究基准测试中排名第一,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5,而 GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet,这表明科学研究正在随算力扩展。

0 人收藏 0 人点赞
#reasoning-models

Qwen 4 系列模型减少思考的可能性有多大?

Reddit r/LocalLLaMA ↗ · 2026-10-18

该推文猜测即将发布的 Qwen 4 系列模型是否会减少思考(thinking)token 的消耗,作者认为在保持或提升智能的同时少思考是最大的升级方向。

0 人收藏 0 人点赞
#reasoning-models

@rohanpaul_ai:北京大学与三星的最新论文显示,慢速推理模型可以离线指导快速模型,将其实时游戏得分从 13.51 提升到 24.19

X AI KOLs Following ↗ · 2026-10-16 缓存

北京大学与三星的最新论文提出 RealtimeBench(6 款游戏、180 个实时任务)与 TORSI 方法,让慢速推理模型在局间离线分析快速模型的失败并生成指令,使快速模型在实时游戏中的平均分从 13.51 提升到 24.19。研究揭示了在世界持续运行的实时场景中,慢速强推理模型反而会落后于快速模型的问题。

0 人收藏 0 人点赞
#reasoning-models

先考虑,再取消:思考如何让推理模型按字面理解“有些”和“或”

arXiv cs.AI ↗ · 2026-10-16 缓存

该研究考察了推理模型的额外思考如何影响其对日常语用含义的理解,发现思考会使模型按字面逻辑解读“某些”和“或”,消除通常隐含的言外之意,并提出了一种在推理过程中依据早期解读作答的补救方法。

0 人收藏 0 人点赞
#reasoning-models

通过保留注意力的 MLP 裁剪解锁推理语言模型的结构化剪枝

arXiv cs.LG ↗ · 2026-10-15 缓存

提出LayerTrim——一种无需训练的结构化剪枝方法,通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征,显著缓解了推理语言模型在长链推理任务上的性能崩溃,在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。

0 人收藏 0 人点赞
#reasoning-models

基于局部信赖域优化的同策略蒸馏词元效用

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文从蒸馏目标本身推导词元重要性(基于局部 KL 预算下的损失可降低幅度,即由逻辑值梯度与费舍尔矩阵构成的效用分数),并将其具体实现为费舍尔效用加权(FUW),在七个数学推理基准和三组 Qwen3 师生模型上,相较于均匀 OPD,宏平均得分提升了 1.08–4.0 个百分点。

0 人收藏 0 人点赞
#reasoning-models

据报道,OpenAI 因安全顾虑取消了一款性能较弱的模型后,正竭力确保其下一款旗舰模型能够安全发布。该公司已将 10% 的算力转用于安全工作,因为其新的循环架构使 AI 的推理过程更难监控。美国政府的测试可能使发布推迟最多 30

Reddit r/singularity ↗ · 2026-10-14

据报道,OpenAI正加紧确保其下一代旗舰模型安全发布,此前已因安全顾虑取消了一个较弱的模型版本,并将10%的算力转用于安全工作;其新型循环架构使AI推理更难监控,美国政府的测试可能导致发布最多延迟30天。

0 人收藏 0 人点赞
#reasoning-models

DoubtLess:免训练对比解码实现高效推理

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

DoubtLess 提出一种免训练的对比解码方法,用一个更小的推理模型引导大模型输出更简洁的思维链,在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变,优于五个推理时基线。

0 人收藏 0 人点赞
#reasoning-models

@WescheNex1q:GLM 5.3 Flash vs Deepseek V4.1 vs Qwen 3.8 Flash Next:相同的提示词,3 个本地模型,各生成一个 HTML 文件:一个电影级 3D …

X AI KOLs Following ↗ · 2026-10-12 缓存

对三个本地模型——GLM 5.3 Flash、DeepSeek V4.1 和 Qwen 3.8 Flash Next——进行正面对比:每个模型都在 DGX Sparks 上生成一个具有电影质感的 3D Three.js 螺旋星系 HTML 文件,并统计 token 数、生成时间、吞吐量和所需修复。

0 人收藏 0 人点赞
#reasoning-models

AI 扩展 vs 人类扩展(12 分钟阅读)

TLDR AI ↗ · 2026-10-12 缓存

Toby Ord 的文章探讨 AI 模型通过更多 token 扩展的效果是否与人类通过更多时间扩展的效果相当,分析了 METR 的对比数据,并讨论了这一问题对 AI 自我改进与智能爆炸前景的影响。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈