Cohere 发布首款完全采用 Apache 2.0 许可的开源模型 Command A+,攻克无损量化与原生引用
摘要
Cohere 发布了 Command A+,一个拥有 2180 亿参数的稀疏 MoE 语言模型,采用宽松的 Apache 2.0 许可,支持无损 4 位量化和原生引用,适用于企业和主权 AI 应用。
暂无内容
查看缓存全文
缓存时间:
2026/05/22 05:57
# Cohere 攻克无损量化与原生引用,发布首个完全采用 Apache 2.0 开源协议的开放模型 Command A+
来源:https://venturebeat.com/technology/cohere-cracks-lossless-quantization-and-native-citations-with-first-full-apache-2-0-licensed-open-model-command-a
加拿大 AI 实验室 Cohere (https://cohere.com/) 近期因宣布与德国 AI 初创公司 Aleph Alpha (https://cohere.com/blog/cohere-alephalpha-join-forces) 合并而引发关注,如今这家由前谷歌员工、《Attention Is All You Need》联合作者 Aidan Gomez (https://venturebeat.com/ai/openai-rival-cohere-ai-has-flown-under-the-radar-that-may-be-about-to-change) 共同创立的公司,为全球企业构建者带来了更多惊喜:今天,该公司正式发布了 Command A+ (https://cohere.com/blog/command-a-plus),这是一款高度优化、拥有 2180 亿参数的语言模型,专为复杂推理、多模态文档处理和智能体工作流而设计。
此次发布最重大的意义不仅在于模型的能力,更在于其可及性。
通过在广受欢迎的 AI 代码共享平台 Hugging Face (https://huggingface.co/CohereLabs/command-a-plus-05-2026-w4a4) 上免费发布模型权重,并采用高度宽松的 Apache 2.0 开源协议 (https://x.com/aidangomez/status/2057142232860258527) —— 据 Cohere 现任 CEO Gomez 在 X (https://x.com/aidangomez/status/2057142232860258527?s=20) 上的帖子称,这在公司尚属首次 —— Cohere 正在对“主权 AI”进行一场精心布局。其核心理念是:企业、政府和开发者应能够在完全属于自己的安全环境中运行、控制和调整前沿水平的 AI,而无需牺牲性能。
## **稀疏架构与极致量化**
在架构层面,Command A+ 相比 Cohere 之前的稠密模型实现了重大进化。它是一个仅解码器的稀疏混合专家(MoE)Transformer。
虽然该模型拥有相对适中的 2180 亿总参数,但在任何给定生成步骤中,活跃的参数更少——仅 250 亿。与 OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 等美国专有巨头相比(据第三方观察者估计 (https://www.linkedin.com/posts/zainhas_a-viral-ai-paper-last-week-claimed-gpt-55-activity-7456465306660749312-5EmU) ,后者的参数规模已达万亿级别),其运行推理(即在生产环境中向最终用户或通过智能体提供模型服务)所需计算资源要少得多。
这种稀疏架构是模型效率的关键。简而言之,MoE 模型会将传入的查询仅路由到最适合处理该查询的特定“专家”神经网络,而模型的其余部分则处于休眠状态。
这是目前大多数领先大语言模型所采用的常见方案,它允许模型保留庞大模型所拥有的广泛知识库和细致推理能力,同时具备更小模型的速度优势以及更低的计算和能源需求,因为任何时候只有一部分参数被激活。
但 Cohere 在 Command A+ 上比大多数模型更进一步的是,它通过量化(一种通过降低参数*精度*来压缩模型内存占用的过程)重点优化了硬件效率。
Command A+ 提供 16 位 (BF16)、8 位 (FP8) 以及高度压缩的 4 位 (W4A4) 格式。
W4A4 量化是本次发布的技术核心。通常,推理模型会遭受不成比例的“量化损失税”,即压缩模型会导致复杂问题解决能力的明显下降。
**Cohere 通过仅将 MoE 专家部分量化为 4 位**,同时**保持关键的注意力路径为全精度**,并辅以名为“量化感知蒸馏”的技术,从而缓解了这一问题。
其结果是一种**近乎无损的压缩**,使得这个庞大的模型能够在单个 NVIDIA Blackwell B200 GPU 或仅两块 NVIDIA H100 GPU 上运行。
速度提升同样显著。根据公司发布的性能数据,在低并发下,W4A4 量化实现了每秒 375 个 token (TOPS) 的输出速度,首 token 延迟 (TTFT) 仅为 113 毫秒 —— 相比之前的 Command A Reasoning 模型,输出速度提升了 63%,延迟降低了 17%。
此外,Cohere 还彻底改造了模型的 tokenizer(分词器)。tokenizer 将文本分解为 AI 模型处理的片段。新的 tokenizer 针对全球企业使用进行了高度优化,原生支持 48 种语言。
更重要的是,它**大幅提高了非欧洲语言的 tokenization 效率**,将生成阿拉伯语回复所需的 token 数量减少了 20%,日语减少 18%,韩语减少 16%。由于推理成本按 token 计算,这直接转化为全球、多语言或非英语部署的更低的运营成本。
## **智能体工作流与数学、专业领域的高基准成绩**
虽然原始速度和规模决定了部署方式,但模型的实用性取决于其产品能力。Command A+ 专为“智能体”任务而构建 —— 即 AI 能够自主或半自主运行、使用外部工具、查询数据库以及跨多个步骤综合信息的工作流。
与前代产品相比,基准测试的提升非常显著。
(此处应有 Cohere Command A+ 基准对比图)
Cohere Command A+ 基准对比图表。图片来源:Cohere
在测试复杂推理的 τ2-Bench Telecom 上,模型得分从 37% 跃升至 85%。在衡量智能体编码性能的 Terminal-Bench Hard 上,得分从 3% 上升到 25%。在复杂数学领域,其在 AIME 25 上获得了 90% 的成绩,而前代只有 57%。
在纯推理和数学方面,Command A+(250 亿活跃参数)展现了超越其规模的实力,在数学基准上与 DeepSeek V4 Pro 等大得多的模型直接竞争。然而,在深度智能体编码和通用大规模智能索引方面,它目前仍落后于 DeepSeek (https://venturebeat.com/technology/deepseek-v4-arrives-with-near-state-of-the-art-intelligence-at-1-6th-the-cost-of-opus-4-7-gpt-5-5)、智谱 (Z.ai) (https://venturebeat.com/technology/ai-joins-the-8-hour-work-day-as-glm-ships-5-1-open-source-llm-beating-opus-4) 以及 MiniMax (https://venturebeat.com/technology/new-minimax-m2-7-proprietary-ai-model-is-self-evolving-and-can-perform-30-50) 等中国开源竞争对手的最新版本。
尽管如此,直接比较它们忽略了 Cohere 的核心价值主张:**硬件效率**。
除了基准测试之外,Command A+ 还引入了用于企业信任和验证的深度集成。该模型通过标准聊天模板支持对话式工具使用,使开发者能够将其无缝连接到内部 API、搜索引擎或 SQL 数据库。
关键的是,**Command A+ 具有原生引用生成功能。** 当 Command A+ 从外部工具检索信息时,它不仅仅合成答案;它还会生成明确的“接地跨度”。通过使用输出中嵌入的特殊标签,该**模型直接将它所做的每个事实陈述与其信息来源的具体文档或数据库行**关联起来。
**对于金融、医疗保健或法律等高度监管行业的企业来说,这种可追溯性就是有趣的原型与可投入生产的应用程序之间的区别。** 如果用户要求一份每日销售报告,模型将输出总销售额,并明确引用提供该数字的数据库查询结果,从而最大限度地降低未被察觉的幻觉风险。
此外,Command A+ 是完全多模态的,能够在其庞大的 128K 输入上下文窗口中原生处理文本和图像,使其在复杂文档处理(例如分析扫描发票、图表或技术手册)中非常高效。
## **Cohere 首款完全采用 Apache 2.0 协议的 AI 模型**
在当前的 AI 领域中,“开源”已经成为一个有争议的术语。许多领先的 AI 公司在限制性的商业许可或可接受使用政策下发布其模型权重,明确禁止大型企业将模型用于商业目的,或禁止使用模型来训练竞争性的 AI 系统。
事实上,Cohere 之前的模型(包括 Command R (https://venturebeat.com/ai/cohere-releases-powerful-command-r-language-model-for-enterprise-use) 和 Command R+ (https://venturebeat.com/ai/cohere-launches-command-r-a-powerful-llm-optimized-for-enterprise-ai))是在 CC-BY-NC 4.0(知识共享非商业性使用)协议下发布的。虽然模型权重可供研究人员和开发者下载、修改和评估,但严格禁止将其用于商业目的,除非从 Cohere 购买单独的企业许可证或通过其应用程序编程接口(API)使用,这与许多企业从 OpenAI、Anthropic、Google 等领先实验室获取 AI 模型的安排类似。
Cohere 改变了策略,将其 Command A+ 在 Apache 2.0 协议下发布。这对开发者社区来说是一个关键区别。Apache 2.0 是一个真正的、经 OSI 批准的开源许可证。它允许任何人——从独立开发者到财富 500 强企业——使用、修改、分发该模型并将其商业化,而无需支付许可费或遵守限制性的非竞争条款。
正如 Gomez 在 X (https://x.com/aidangomez/status/2057198038616007097?s=20) 上所述,这一决定得到了 Cohere 另一联合创始人 Nick Frosst 的支持,他发布了一段两分钟的概述,称这是“我们发布过的最好的模型”。
对企业而言,这种许可证意味着完全的供应商独立性。公司可以下载 Command A+ 的权重,在高度机密的内部数据上进行微调,并将其部署在自己的私有服务器或气隙网络上。他们不再受制于 Cohere 的基础设施、价格变动或 API 可用性。这是主权 AI 的最终体现。
该模型的发布在 AI 开发者生态系统中立即引起了反响,这主要归功于其首日即与 Hugging Face 和 vLLM 等主流开源推理框架的集成。
## **下一步是什么?**
Command A+ 的发布标志着开源 AI 生态系统的成熟。通过将前沿水平的推理、强大的智能体工具使用和多模态能力与专为硬件效率设计的架构相结合,Cohere 正在改变企业采用 AI 的考量方式。
对大规模、集中式计算集群的需求长期以来一直是优先考虑数据隐私和成本控制的公司的瓶颈。通过在一个真正的开源许可证下民主化地提供如此性能水平的模型,Cohere 为企业市场提供了他们一直渴求的东西:云端的强大能力,同时能够在隔壁的服务器机房中安全运行。
相似文章
Reddit r/LocalLLaMA
该组织推出了 Hydrogen-1.0,这是一款基于 GLM-5.3、使用内部科学数据微调的开放权重模型,声称其在 FrontierScience-Research 上的得分为 38.3%(相比之下,GPT-6-Astra 为 33.3%),在 GPQA-Diamonds 上的得分为 93.0%,旨在推动开放的科学发现。
Reddit r/LocalLLaMA
Qwen 确认,未来的 Qwen 4.0 和 Qwen 5.0 模型将继续开源,驳斥了 Qwen4 将是最后一个开放权重版本的传闻。Qwen 系列的累计下载量已超过 30 亿次,已发布超过 460 个开源模型。
Reddit r/LocalLLaMA
Unsloth 公布了其 DeepSeek Dynamic V3.1 GGUF 量化版本的基准测试结果,声称在 512K 上下文长度下,其在 Terminal Bench 和 DeepSWE 等智能体基准测试中的表现比 GSQ-RCO 提升了逾 10–20%,并从统计学角度质疑了 GSQ-RCO 关于量化后性能恢复的说法。
Reddit r/LocalLLaMA
AtomicChat 发布了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO GGUF 量化版本,通过从稠密残差写入模块中投影移除拒绝方向,使一个 7630 亿参数的 MoE 模型能够借助 Strata 在单张 12 GB 显存的 GPU 上运行,且 MMLU 性能下降极小。
Reddit r/LocalLLaMA
MiniMax 感谢社区开发者在 10 天内将 M3.1 Flash 开放权重的体积从 252.4 GB 缩减至最低 93 GB,涵盖 GGUF、EXL3 和 MXFP4 等格式的量化版本在消费级和数据中心硬件上均展现出出色的准确率和吞吐量。