我们是否应该恳请开源实验室继续打造出色的非思考(instruct)模型?

Reddit r/LocalLLaMA 新闻

摘要

社区讨论指出,相比早期版本(如 Claude 3.6 与 3.8),新的开源模型在非思考/instruct 模式下的性能退化更明显,并呼吁实验室在提升推理能力的同时,继续重视 instruct 模式的性能表现。

结果已经出来了:新模型在无思考/instruct 模式下的性能退化程度比老模型更严重,比如 3.6 与 3.8 的对比——在 instruct 模式下,3.6 在多个编码基准测试中反而领先。我想请求各实验室仍然好好重视 instruct 模式,即使不做冗长的推理过程,也仍然可能有所提升。我们中的一些人仍然把模型用于各种任务,并不需要冗长的推理轨迹。Agentic(智能体化)当然不错,但如果因此开始牺牲我们从早期 Llama 时代起就习以为常的“基础”模型的性能,我认为这不是一个好的方向。
查看原文

相似文章

你实际在生产环境中运行的是哪个推理模型?

Reddit r/AI_Agents

一位从业者寻求关于 o3、Claude extended thinking、Gemini 2.5 Pro 和 Ring 2.6 1T 等推理模型在生产环境中的代理任务上的真实反馈,质疑 Ring 的双推理强度模式在实际表现与基准测试之间的差异。

LM Arena 已经过时了吗?

Reddit r/LocalLLaMA

一位用户批评 LM Arena 没有收录最近的开源模型(如 Qwen3.6 和 Step 3.7 Flash),质疑该平台在比较新开源模型与闭源模型方面的相关性。

更好的模型:更差的工具

Simon Willison's Blog

较新的Anthropic模型(如Opus 4.8和Sonnet 5)在使用第三方编辑工具(例如Pi的工具)方面比旧模型更差,这可能是因为它们通过强化学习训练使用Claude Code的内置编辑工具,导致它们在工具调用中发明了额外的字段。