发布 Cohere North Mini Code

大家好！我是Cohere的Jay。在收到各位上周末对未发布版本的[宝贵反馈](https://www.reddit.com/r/LocalLLaMA/comments/1tylzy2/coheres_unreleased_coding_model_early_access_for/)后，我们正式发布了North Mini Code。我想在这里回答大家提出的一些问题，并提供关于模型本身的更多细节。你可以从[Hugging Face](https://huggingface.co/CohereLabs/North-Mini-Code-1.0)下载权重（[fp8版本在此](https://huggingface.co/CohereLabs/North-Mini-Code-1.0-fp8)），也可以在[OpenCode](https://opencode.ai/)上[免费](https://x.com/opencode/status/2064392792265171081)试用。如果想了解更多我在视频中提到的内容，欢迎查看我们在[HuggingFace上的技术博客文章](https://huggingface.co/blog/CohereLabs/introducing-north-mini-code)以及[官方公告](https://cohere.com/blog/north-mini-code)。如果使用vllm部署，在新版本发布前请使用vLLM主分支运行North Mini Code，同时准确的响应解析还需要安装Cohere的melody库。运行命令如下： `uv pip install "git+https://github.com/vllm-project/vllm.git"` `uv pip install cohere_melody>=0.9.0` 之后可按以下命令启动vllm服务器： `vllm serve CohereLabs/North-Mini-Code-1.0 \` `-tp 2 \` `--max-model-len 320000 \` `--tool-call-parser cohere_command4 \` `--reasoning-parser cohere_command4 \` `--enable-auto-tool-choice` 根据大家的反馈，我们推送了几个PR来优化这一流程。一些有用的信息： * MLX支持：[https://x.com/Prince_Canuma/status/2064437722689962242](https://x.com/Prince_Canuma/status/2064437722689962242) * /u/[germangrower69](https://www.reddit.com/user/germangrower69/) 在此提到一个第三方MLX版本：[https://www.reddit.com/r/LocalLLaMA/comments/1tylzy2/comment/oq8qwwb/](https://www.reddit.com/r/LocalLLaMA/comments/1tylzy2/comment/oq8qwwb/) * 我们已收到大家关于量化和llama.cpp的反馈，并在内部进行了标注。如有任何问题或反馈，请随时提出。我们非常期待看到大家的构建成果以及遇到的问题，以便未来为开发者打造更优秀的模型。很期待听到大家的想法！再次感谢各位在这方面的所有帮助。