标签
一篇 LessWrong 文章,探讨如何教会 Qwen 模型对其输出背后的「为什么」进行推理,并在长文中考察对齐与推理行为。
一位用户报告称,本地模型 Qwen 3.8 27b 自主发现自己可以通过 MCP 访问 Blender,并编写了 Python 代码来加快求解一道物理题时的数学运算——该用户表示,此前从未见过本地模型有这样的行为。
一篇介绍「权重空间编程(Weight-Space Programming)」的博客文章:前沿 LLM GPT-6 Astra 能够原生读取并编辑神经网络权重——仅修改 Qwen3.5-0.8B 的 0.016% 权重,就将 MATH-500 从 7.9% 提升至 48.1%,IFEval 提升三倍,全程无需梯度或训练。
Apriel Voice 27B Preview 是一个开源语音-语言模型,基于 Gemma 4 26B-A4B 后训练检查点构建,通过两阶段训练将语音理解、推理与工具调用统一到共享推理骨干中,并在 Big Bench Audio、Speech-BFCL 和 τ-Voice 等基准上取得有竞争力的成绩。
该论文提出了 CRoS,这是一种思维链(CoT)因果性指标,奖励在不改变推理步骤内容的情况下打乱其顺序,从而避免传统基于扰动的指标所带来的混杂效应。在 Reasoning Gym 上使用可验证奖励强化学习(RLVR)对 Gemma-3-4B 进行评估,结果表明,与现有的因果性奖励和结果奖励相比,CRoS 提高了域外准确率(46.8%,对比 43.8%)、思维链质量和思维链忠实度。
StrictPRMBench 引入了一个可重放的基准,用于审计固定评分下的 PRM 聚合规则(乘积与几何平均值)如何影响 N 选一择优,结果表明,在 14 个实验单元中,乘积聚合导致的删除诱发选择不稳定性更高,并提供了可复现的再分析材料。
分析显示,Grok 4.20 在 PokeBench 的《宝可梦 红》基准测试中被困在房子附近长达数百回合。尽管其自身的推理日志正确识别出已陷入循环,它仍无法脱困,引发了关于视觉与规划能力瓶颈的讨论。
一位用户吐槽 Qwen3.8-Flash-Next 在通过 llama.cpp 本地运行时,面对一般性研究问题回答冗长、绕来绕去,并质疑该模型是否除了编程任务之外还能有所改进。
一份实用、基于证据的 GPT-6 Astra 现实应用指南,将其在 Scale AI SEAL 基准测试的 12 个类别中的表现与项目建议、优势、局限性,以及更适合选用 Claude Fable 5.1 等替代模型的情形相对应。
本文系统分析了社会人口统计信息在何时、何处有益于多元冒犯性建模,表明其在群体/总体层面的收益比在个体层面更为明显,且对人口统计特征进行显式推理的效果优于直接以这些特征为条件进行建模。
ThinkJev 是一种无需训练的方法,基于单个混合思考开放模型构建快速(系统 1)和慢速(系统 2)作答路径,直接读取或在经过可变长度的思考后读取经过校准的选项概率,因此仅在统计上保证达到目标错误率所需时才付出思考成本。
一位实践者基于两周的大量智能体日志,对比了采用 INT8 与 INT4 AWQ 量化运行的 Qwen3 27B,发现 INT4 会显著提高推理循环发生率(从每千次调用 1.9 次增至 4.7 次),使任务成功率从 92% 降至 78%,而且在超过 10 万 token 的长上下文中,差距会进一步扩大。INT8 甚至 BF16 也会出现循环,因此量化只是加剧了这一问题,而非其根源。
Kyutai Labs 重新审视了 Neural Thickets 方法,指出在输出 logits 上加入随机偏置、其余权重保持不变,即可匹配甚至超越对模型所有权重加噪并保留最佳副本的效果。
卡内基梅隆大学的一篇论文表明,预训练、微调和强化学习可以统一为一条训练规则(将 MaxRL 视为针对正确答案的似然训练)。混合数据训练在推理和编程基准测试中的表现优于分阶段训练,同时保留了通用能力。
一场社区讨论,征集用户使用 Nanbeige4.3-33B 的实际体验。这是一款拥有 330 亿参数的开放模型,支持 512K 上下文窗口,在推理、编程和智能体任务的基准测试中表现出色,但其 KV 缓存内存占用较高也引发了担忧。
谷歌的一篇论文表明,当 Gemini AI 智能体先记录一份包含已核实主张及其置信度的“Thinking-in-Bets”(以赌注思维思考)核对清单时,在用户提出无根据的抱怨后,它们错误地撤销正确工作的可能性会大幅降低;在补丁审查中,错误返工率从 12.2% 降至 0.02%。
NVIDIA 发布了 AlpaJudge——一系列用于评估自动驾驶推理的学习型评判模型,其基于参考和免参考的检查点已在 Hugging Face 上以 OpenMDW-1.1 许可证开源提供。
本文研究了辅助轨迹偏好(基于置信度和熵的指标),以提升小型语言模型的自我改进与迁移能力,结果表明,在 AIME 任务上,UID-Conj. 相比未经修改的 TTRL 和均匀加权的 SFT 提高了约 2 个百分点。
研究人员报告称,他们把自己职业生涯中最难的研究问题输入到一个新的AI模型中,模型横跨多个不同领域,将这些问题逐一解决。
Mistral 发布 Mistral Large 4(Le Chonk):一个 1 万亿参数、49B 激活参数的原生多模态 Mixture-of-Experts 模型,具备 1M 上下文窗口、可配置推理力度、160+ 语言支持,并以 Mistral Ecosystem Open-Weight License 开源权重发布。