对于那些在生产环境中被迫只使用西方实验室开源模型的各位，你们正在部署什么？

Reddit r/LocalLLaMA 新闻
open-source deployment ai-models western-labs vision-ai h100-gpus

摘要

一位用户讨论了由于管理层对中文模型的限制，部署西方实验室开源模型的挑战，并寻求120b+类别中具有视觉能力的替代模型推荐。

首先，我知道GLM、Qwen和DeepSeek在最先进的开源模型方面绝对占据主导地位，这也是我在个人项目和学校中使用的模型。然而，我也负责在我的组织的H100上部署本地AI，而管理层禁止我们运行任何中文模型。这显然不是理想的情况，但事实如此，我很遗憾无法改变这一点。如果由我决定，我会毫不犹豫地部署GLM 5.3 Flash。尽管如此，目前在120b+规模的中文模型与西方模型之间存在巨大的性能/智能差距，尤其是那些具备视觉能力的模型。目前没有太多西方实验室的选项能接近GLM或Qwen的水平，但同样，我别无选择，只能从可用的西方选项中找到最好的。对于那些拥有生产级硬件（如4个H100）并面临类似限制的人，你们正在部署哪些非中文模型？我看到的两个主要候选模型，满足大多数要求（120b或更好、视觉能力、足够的上下文）是——Thinking Machines Inkling Small (https://thinkingmachines.ai/news/inkling-small/)。这个模型目前似乎是领跑者，但在AA分数上仍比GLM 5.3 Flash低16分。Cohere Commamd A+ (https://cohere.com/blog/command-a-plus)。满足所有条件，除了上下文窗口较小，只有128k。其他候选模型（但缺少视觉能力）：Poolside Laguna S 2.1 (https://poolside.ai/models#laguna-s)、Nvidia Nemotron 3 Super (https://research.nvidia.com/labs/nemotron/Nemotron-3-Super/)。我是否遗漏了其他在120b规模类别中的强劲候选模型？你们在使用什么，为什么？
查看原文

相似文章

State of Open Models: Summer 2026 Observations

Hugging Face Blog

Hugging Face's mid-2026 report analyzes the open-model ecosystem, noting that Chinese labs now lead in releasing the largest open models, Qwen has become the community's base model, and small models plus agents are driving practical adoption.