开放权重模型被低估的一面:不是本地运行,而是允许在其上构建
摘要
一篇评论文章,强调开放权重模型的真正价值不仅在于本地推理,更在于能够进行微调并在其基础上构建,这与封闭API形成对比——封闭API中用户始终依赖服务提供商。
关于开源与闭源的讨论,大多集中在能否在自己的硬件上运行模型。公平地说,这是最明显的吸引力。但我认为被忽视的一点是,开放权重意味着你可以在基础模型上进行后训练(post train),而不仅仅是运行推理。使用封闭API时,你是在租用智能。你可以提示它,可以围绕它做RAG(检索增强生成),但你永远无法让它成为你自己的。你不能针对自己的领域微调实际的权重,你无法将其蒸馏缩小,你无法冻结一个版本并永久拥有它。你永远处于提供商决定的下游。我看到有人发帖说,现在GLM-5.2开放权重后,他们正在其上后训练自己的模型。这个说法比基准测试数字更让我印象深刻。一个前沿级别的基础模型,且你可以合法地在其上构建,这改变了一个小团队能做的事情。你不需要从头训练,你可以从已经很强的东西开始,然后进行专门化。实际上,我们大多数人不会在地下室里微调一个700B参数的模型——计算量太残酷了,我不会假装不是这样。但选项本身的存在就是关键。即使租用云计算资源来后训练你自己的变体,也与完全被锁定权重之外是完全不同的情况。有没有人真的在大规模开放模型上进行后训练?还是说主要仍然只是推理,微调只停留在小模型范围内?
相似文章
开源模型令人难以承受的廉价
本文探讨了像DeepSeek V4这样的开源模型与Anthropic和OpenAI的闭源模型之间的巨大成本差异,认为后者是通过人为稀缺性和品牌效应而非技术优势来维持高价格。
[文章] 开放权重模型的论证以及为何我们不能信任 Frontier Labs | provos.org
文章认为,依赖专有的前沿AI API存在风险,因为成本不可预测、可用性变化以及缺乏可审计性,主张开放权重模型是一种更值得信赖的替代方案。
开源权重模型正在悄然封闭——这是一个问题
文章认为,开源权重AI模型变得愈发受限的趋势对市场竞争构成了威胁,因为这些模型目前为对抗前沿闭源模型提供商提供了必不可少的价格约束和隐私选项。
开源权重难以承受的廉价
讨论了开源权重AI模型变得极其廉价的趋势,使得先进的AI能力更加普及。
专注打磨,推动本地模型
本文批评了当前用于编程助手的本地AI模型现状,认为虽然可运行性有所改善,但由于缺少工具参数流式传输等功能以及推理引擎间的过度碎片化,用户体验大打折扣,远不如使用托管API那般精致。