reasoning-models

标签

Cards List
#reasoning-models

@FinanceYF5: https://x.com/FinanceYF5/status/2108757519690559912

X AI KOLs Following ↗ · 2026-10-10 缓存

OpenAI 发布了一个新仓库,收录其未公开内部模型产生的 719 篇数学手稿(归为 372 个结果族),涵盖黎曼 zeta 函数零点区域、Mahler 猜想、自由群因子同构等前沿问题,其中约 42% 的结果已用 Lean 形式化验证,并附带部分推理过程摘要。

0 人收藏 0 人点赞
#reasoning-models

ReCal:面向在线策略蒸馏恢复的结构化剪枝校准方法

arXiv cs.CL ↗ · 2026-10-09 缓存

ReCal 是一种即插即用的校准方法,在结构化剪枝前通过教师-剪枝探针间的前向 KL 识别受损预测并重加权校准统计,从而提升剪枝模型在在线策略蒸馏(OPD)后的恢复效果,在 AIME 上最高提升 16.7 个百分点。

0 人收藏 0 人点赞
#reasoning-models

OpenAI 撤回 3 篇数学论文

Hacker News Top ↗ · 2026-10-08 缓存

OpenAI 发布了一个仓库,包含由其未公开内部模型产出的 719 篇数学手稿(372 个结果族),并附带部分 Lean 形式化证明与推理摘要;据标题消息,其中 3 篇论文已被撤回。

0 人收藏 0 人点赞
#reasoning-models

通往同一个答案的漫长之路:大语言模型推理预算不断攀升下的认知偏误

arXiv cs.CL ↗ · 2026-10-08 缓存

该论文研究了推理模型在不同思考预算下是否表现出更少的认知偏误,结果发现增加推理token并不会降低偏误,部分偏误甚至与人类方向相反,表明测试时推理不能保证决策理性。

0 人收藏 0 人点赞
#reasoning-models

美国对AI蒸馏的恐惧,正促使模型隐藏/模糊其思考过程以防中国复制[假说]

Reddit r/ArtificialInteligence ↗ · 2026-10-08

一篇思辨性文章提出假说:美国担心中国进行模型蒸馏,正导致OpenAI和Anthropic等实验室刻意模糊模型的推理过程,这不仅恶化了对齐的可见性,还制造出连其所有者都无法审问的黑箱系统。

0 人收藏 0 人点赞
#reasoning-models

@no_stp_on_snek: 认真的说。了不起的工作。已经在我的工作中采用。致谢会写进 README:@haoailab https://github.com/z-lab/dflash …

X AI KOLs Timeline ↗ · 2026-10-05 缓存

DFlash 2 是来自 z-lab/haoailab 的轻量级块扩散模型,专为 Flash 投机解码设计,能够在多种主流开源 LLM 系列上实现高效的高质量并行草稿生成,相关检查点已在 Hugging Face 上发布。

0 人收藏 0 人点赞
#reasoning-models

Qwen3.8 27B 英文单词形式的加法运算测试

Simon Willison's Blog ↗ · 2026-10-04 缓存

Simon Willison 在本地运行的 Qwen3.8-27B(Q4_K_M)上进行了一项受控基准测试,让模型将最多 13 位整数的精确加法结果仅以英文单词形式输出,复现了早期一个 GPT-4o 的实验。在禁用推理功能的情况下,模型的整体准确率仅为 23.57%——从 1–3 位数操作数上的约 97% 骤降至 10–13 位数上的约 6%,尽管格式合规率高达 96.17%。

0 人收藏 0 人点赞
#reasoning-models

@Miles_Brundage:谁把这称为“由于不透明内部推理而丧失思维链的可监控性”,而不是叫作 weight, weight, don’t tell me?

X AI KOLs Timeline ↗ · 2026-10-04

一条推文讽刺了围绕“由于不透明内部推理而丧失思维链可监控性”展开的 AI 安全领域讨论,借用了归于 Miles Brundage 的一句话并加以戏仿。

0 人收藏 0 人点赞
#reasoning-models

@rasbt:从零开始推理,第六轮!可验证奖励强化学习(RLVR)的介绍(与实现)

X AI KOLs Timeline ↗ · 2026-10-03 缓存

Sebastian Raschka 的第六期「从零开始推理」视频介绍并实现了基于可验证奖励的强化学习(RLVR)和群体相对策略优化(GRPO),涵盖奖励设计、优势计算、GRPO 损失以及 MATH-500 训练结果。

0 人收藏 0 人点赞
#reasoning-models

质疑问题本身:维持推理模型的自我进化

Hugging Face Daily Papers ↗ · 2026-10-03 缓存

论文揭示了自我进化推理模型性能崩塌的原因——无效问题与数学上等价的问题重复,并提出 R-Quest,利用有效性与新颖性反馈来维持自我进化,在 12 个基准上经过十轮迭代后,比 R-Zero 高出 17.32 分。

0 人收藏 0 人点赞
#reasoning-models

我们是否应该恳请开源实验室继续打造出色的非思考(instruct)模型?

Reddit r/LocalLLaMA ↗ · 2026-10-02

社区讨论指出,相比早期版本(如 Claude 3.6 与 3.8),新的开源模型在非思考/instruct 模式下的性能退化更明显,并呼吁实验室在提升推理能力的同时,继续重视 instruct 模式的性能表现。

0 人收藏 0 人点赞
#reasoning-models

@yoheinakajima:有趣的是,我们通过剪掉推理过程来获得决策模型,仿佛决策是在推理之前做出的……

X AI KOLs Following ↗ · 2026-10-01

Yohei Nakajima 思考道,决策模型本质上是通过剥离推理链条得到的,这似乎假设了决策先于推理——质疑这种思路是否反映了推理实际运作的方式。

0 人收藏 0 人点赞
#reasoning-models

当裁剪反而抵消纠错:逐点前向 KL 在线自蒸馏的失效机制

arXiv cs.CL ↗ · 2026-10-01 缓存

本文分析了在线自蒸馏(OPSD)中对前向 KL 目标进行逐点裁剪为何会适得其反:论文通过理论证明与实证实验表明,被裁剪的目标可能会将 token 概率推离教师模型,从而导致推理输出中出现持续的 token 重复现象。

0 人收藏 0 人点赞
#reasoning-models

通过残差流动力学揭示无控制重复现象

arXiv cs.CL ↗ · 2026-10-01 缓存

本文提出了一种名为 Tokenwise Residual Comparison(TRC)的方法,该方法从 LVLMs/LLMs 生成过程中的残差流动力学中定位重复异常并进行选择性抑制,将循环率平均降低 57%,同时表明重复语义在浅层出现并随后向深层传播。

0 人收藏 0 人点赞
#reasoning-models

StreamDecisionBench:评估不断演化的语言流上的生效决策

arXiv cs.CL ↗ · 2026-10-01 缓存

StreamDecisionBench(SDB)将语言模型作为应用中的实时决策组件进行评估,测量模型在不断演化的证据流上的“生效决策”表现,并将错误归因于判断、延迟或两者兼有。在四个托管模型上的评测显示,推理能力提升了判断质量,但带来了显著的延迟成本;而一个更快但更弱的组件所取得的综合评分,与一个更强的非推理模型相当。

0 人收藏 0 人点赞
#reasoning-models

OpenJev-RLCD:一个可用的 RLCD 实现

arXiv cs.AI ↗ · 2026-10-01 缓存

该论文提出了 OpenJev-RLCD,这是针对推理模型的校准决策强化学习(Reinforcement Learning for Calibrated Decisions,RLCD)的一个可用的开源实现。它采用「先校准,再强化」的方案,并使用适当评分规则,在性能上达到或超越 SFT、RFT/STaR 以及带温度缩放的 GRPO,尤其在选择性预测方面表现突出(例如在误差率 ≤5% 的决策覆盖中,GSM8K 上达到 81%,而 GRPO 仅为 19%)。

0 人收藏 0 人点赞
#reasoning-models

当推理偏离正轨:不受控推理的注意力动态

arXiv cs.AI ↗ · 2026-10-01 缓存

本文提出 RADAR 方法,将大型推理模型的生成过程建模为四种状态,并利用动态注意力响应在重复出现之前检测不受控推理。该方法提出注意力重对齐(Attention Realignment)机制以纠正异常的注意力分布,在保持良性性能的同时减少生成循环。

0 人收藏 0 人点赞
#reasoning-models

迈向缓解大型推理模型中的欺骗性安全对齐

arXiv cs.AI ↗ · 2026-09-30 缓存

Wayne State University 的一篇论文提出了 DSAR 指标,用于量化大型推理模型中推理过程与最终答案之间的不一致性,并提出了基于强化学习的方法 SARA,通过奖励具备安全意识的推理来缓解在标准预填充攻击和对抗性预填充攻击下的欺骗性安全对齐。

0 人收藏 0 人点赞
#reasoning-models

思维是否有助于公平性?Reasoning Tokens虽解决部分偏见,却制造更多

arXiv cs.AI ↗ · 2026-09-28 缓存

研究显示,推理语言模型中的思维对反事实公平性具有不对称的双重影响:它解决了一些偏见但创造了更多偏见,后者在不同模型和数据集上约为前者的五倍。

0 人收藏 0 人点赞
#reasoning-models

选择多样化SFT轨迹提升后RL泛化能力

Hugging Face Daily Papers ↗ · 2026-09-27 缓存

本文提出一种轻量级的、基于规则的多样化SFT轨迹选择器,以提升推理模型在后RL阶段的泛化能力,并在数学基准测试中展示了显著的性能提升。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈