标签
新的 Ling 3.0 推理模型的支持已集成到 llama.cpp 中,使得通过这个开发工具可以访问它们。
文章详细介绍了推理引擎对 Ling-3.0-flash 模型权重的当前支持状况:SGLang 承诺首日集成,vLLM 等待开源权重,llama.cpp 缺少对 Bailing MoE 变体的转换。文章指出发布模式是先开放免费 API,然后开源,正如 Ling-2.6-flash 那样。
此拉取请求为 llama.cpp 添加了对 Hy3 (hy_v3) 模型的支持及 MTP 推测解码,从而实现了该架构的高效推理。
GPT-5.6 现已在 Hermes Agent 中得到支持,并可通过 Nous Portal 使用,提供对新模型的访问。
提交的Pull Request旨在为llama.cpp添加对DeepSeek V4模型的支持,从而能够在多种硬件上对该模型进行推理。
llama.cpp 新增对 granite-speech-4.1-2b 和 LFM 嵌入模型的支持,引入了多项 Vulkan 后端增强功能(例如 CONV_3D、规范常量、溢出修复),并包含 UI/UX 改进和其他修复。
Claude Fable 5现已通过Nous Portal在Hermes Agent中得到支持,并推出促销活动:前500名新用户可免费获得一个月Plus计划的使用权限。
为 llama.cpp 添加 StepFun 3.5 MTP 模型支持的拉取请求。
一个拉取请求已合并到 llama.cpp 中,用于添加对 Mimo v2.5 模型的支持,增强了该框架对此特定 AI 架构的兼容性。