我们是否应该恳请开源实验室继续打造出色的非思考(instruct)模型?
摘要
社区讨论指出,相比早期版本(如 Claude 3.6 与 3.8),新的开源模型在非思考/instruct 模式下的性能退化更明显,并呼吁实验室在提升推理能力的同时,继续重视 instruct 模式的性能表现。
结果已经出来了:新模型在无思考/instruct 模式下的性能退化程度比老模型更严重,比如 3.6 与 3.8 的对比——在 instruct 模式下,3.6 在多个编码基准测试中反而领先。我想请求各实验室仍然好好重视 instruct 模式,即使不做冗长的推理过程,也仍然可能有所提升。我们中的一些人仍然把模型用于各种任务,并不需要冗长的推理轨迹。Agentic(智能体化)当然不错,但如果因此开始牺牲我们从早期 Llama 时代起就习以为常的“基础”模型的性能,我认为这不是一个好的方向。
相似文章
你实际在生产环境中运行的是哪个推理模型?
一位从业者寻求关于 o3、Claude extended thinking、Gemini 2.5 Pro 和 Ring 2.6 1T 等推理模型在生产环境中的代理任务上的真实反馈,质疑 Ring 的双推理强度模式在实际表现与基准测试之间的差异。
@levie: 在一个存在强大开源替代方案且仅略逊于前沿模型的世界里,你让你的……
一篇评论文章指出,限制对前沿AI模型的访问而偏向闭源替代方案适得其反,因为强大的开源模型正在缩小差距,而外国生态系统则从开放性中受益。
LM Arena 已经过时了吗?
一位用户批评 LM Arena 没有收录最近的开源模型(如 Qwen3.6 和 Step 3.7 Flash),质疑该平台在比较新开源模型与闭源模型方面的相关性。
@kapicode: 我一直在使用 Claude 作为“人类”来提示 @opencode 以重建参考项目,在同一测试平台上评估了四款 LLM…
一项针对四款大语言模型(Qwen、MiniMax、GLM)的评估显示,当使用 Claude 作为 Opencode 智能体工具的提示器时,一个较小的本地模型(运行在 3090 显卡上的 Qwen 27B)在代码质量与可靠性方面表现优于更大的剪枝模型。
更好的模型:更差的工具
较新的Anthropic模型(如Opus 4.8和Sonnet 5)在使用第三方编辑工具(例如Pi的工具)方面比旧模型更差,这可能是因为它们通过强化学习训练使用Claude Code的内置编辑工具,导致它们在工具调用中发明了额外的字段。