CohereLabs/North-Mini-Code-1.0-eagle · Hugging Face
摘要
Cohere Labs发布North-Mini-Code-1.0-eagle，这是一个用于推测解码的草稿模型，以加速代码生成。它采用三个密集transformer层，带有滑动窗口注意力机制，并兼容fp8/w4a4目标模型。
查看缓存全文
缓存时间: 2026/07/28 16:35
CohereLabs/North-Mini-Code-1.0-eagle · Hugging Face
来源：https://huggingface.co/CohereLabs/North-Mini-Code-1.0-eagle 用于 CohereLabs/North-mini-code-1.0 的 Eagle 模型。
主要亮点包括：
- 三个密集 Transformer 块层
- 所有草稿层均使用滑动窗口注意力
- 兼容 fp8/w4a4 目标模型检查点
https://huggingface.co/CohereLabs/North-Mini-Code-1.0-eagle#vllmvllm
要使用此草稿模型启动 vllm 服务器，请运行以下命令：
vllm serve CohereLabs/North-Mini-Code-1.0 \ -tp 2 \ --max-model-len 320000 \ --tool-call-parser cohere_command4 \ --reasoning-parser cohere_command4 \ --enable-auto-tool-choice \ --speculative_config "{\"method\": \"eagle\", \"model\": \"CohereLabs/North-Mini-Code-1.0-eagle\", \"num_speculative_tokens\": 3, \"draft_tensor_parallel_size\": 2}"
相似文章
CohereLabs/North-Mini-Code-1.0
Cohere Labs 发布了 North Mini Code，一个拥有 30B 参数（3B 活跃）的开放权重模型，针对代码生成、智能体软件工程和终端任务进行了优化，基于 Apache 2.0 许可。
unsloth/North-Mini-Code-1.0-GGUF · Hugging Face
此页面托管了Cohere的North-Mini-Code-1.0模型的GGUF量化版本，这是一个30B-A3B MoE模型，针对代码生成和代理任务进行了优化。提供了从特定PR构建llama.cpp以支持cohere2moe架构的说明。
North Mini Code 更新：4位量化 + Ollama + OpenRouter
Cohere 发布 North Mini Code，一个30B-A3B开源权重模型，采用4位量化，用于代码生成和智能体编码任务，支持256K上下文。
发布 Cohere North Mini Code
Cohere正式发布North Mini Code编程模型，权重可在Hugging Face上获取，并支持vLLM和MLX部署。
推出 North Mini Code：Cohere 首款面向开发者的模型
Cohere 发布了 North Mini Code，这是一款 30B 参数的混合专家（MoE）模型，在 Apache 2.0 许可下拥有 3B 激活参数，专为智能体软件工程任务优化，在编程基准测试中性能优于同类尺寸模型。