教导 Qwen 理解「为什么」(47 分钟阅读)
摘要
一篇 LessWrong 文章,探讨如何教会 Qwen 模型对其输出背后的「为什么」进行推理,并在长文中考察对齐与推理行为。
该研究将 Anthropic 的「Teaching Claude Why」方法扩展到新模型上,重点通过合成文档微调(SFT)和基于虚构故事与伦理困境的监督微调(SFT),来减少智能体错位问题。
查看缓存全文
缓存时间: 2026/11/03 15:17
# Teaching Qwen Why — LessWrong
来源:https://www.lesswrong.com/posts/35yw2qGK7naFLAvcq/teaching-qwen-why-1
x
Teaching Qwen Why — LessWrong
相似文章
向思维模型教授工具推理:工具集成推理的全流程方案
本文提出了一种全流程方案,用于向思维模型教授工具推理,该方法应用于 Qwen3 模型时,在 AIME 2025 等基准测试上实现了最先进的性能。
不流行观点:Qwen 3.8 27b 不是过度思考者
文章认为,Qwen 3.8 27b 增加的推理令牌使用量与其他中国AI模型如 GLM 和 DeepSeek 相似,用户的挫败感源于硬件限制。它建议使用推理预算可以保持性能优于 Qwen 3.6。
我训练了TIME:基于Qwen模型的短时上下文触发思考而非过度思考
一个个人项目最终产出了一篇ACL 2026论文,介绍了TIME方法,训练Qwen3模型进行短时、上下文触发的思考,而非过度推理。该工作使用了QLoRA和四阶段课程,所有数据和代码均已开源发布。
我研究AI如何内部组织意义。以下是Qwen 2.5在开始思考之前的样子。
作者将Qwen 2.5 7B的输入嵌入空间可视化为'嵌入海'地形图,并讨论了日志镜头和雅可比镜头等可解释性工具。他们强调AI模型优化代码而非对话的趋势,并提出构建具有自省能力的以创造力为重点的AI模型。
为何 Qwen 3.8 27b 没有“高”推理强度模式?
本文探讨了 Qwen 3.8 27b 模型为何缺少“高”推理强度模式,并指出“中等”与“极高”设置之间存在巨大差距。