标签
Conifer 是由普林斯顿团队打造的全新开源本地推理运行时，针对 Apple Silicon 优化并采用自定义 Rust 内核。其目标是在小型模型上超越 llama.cpp 和 MLX，支持具有操作系统级权限执行的完全本地化智能体，目前进入限 100 人测试阶段。
Qwen推理团队宣布了TokenSpeed，这是一个针对智能体工作负载的高性能LLM推理引擎，实现了540 TPS，并提供开源预览版。
一篇博客文章，对比了MLX推理引擎，结论是oMLX是最佳选择，评测在M5 Max 64GB上使用Qwen3.6-35B-A3B-4bit。
本文讨论了交互模型如何给AI推理引擎带来新挑战，重点介绍了vLLM项目的解决方案，该方案在Woosuk Kwon参与的播客中有所涉及。
Redis 之父 antirez 发布了名为 ds4 的开源项目，是专为 Mac Metal 优化的 DeepSeek V4 Flash 本地推理引擎，支持磁盘 KV 缓存、超长上下文，性能优异。
此拉取请求在 llama.cpp 服务器和 WebUI 中添加了对推理模型继续生成的支持。
该文章报道了对 @antirez 使用 C 语言编写的 DS4 推理引擎的测试，指出其在 128G 内存的 MacBook Pro 上运行等效于 GPT-4o 的模型时速度惊人。
Atlas 是一个纯 Rust 实现的 LLM 推理引擎，通过为每种硬件×模型×量化组合定制 CUDA 内核，实现了比 vLLM 和 TensorRT-LLM 更快的推理速度。
一个拉取请求已合并到 llama.cpp 中，用于添加对 Mimo v2.5 模型的支持，增强了该框架对此特定 AI 架构的兼容性。
ServiceNow 工程师详细介绍了他们从 vLLM V0 迁移到 V1 的过程，重点解决了后端正确性问题，包括 logprob 语义和运行时默认值，以确保强化学习训练动态的稳定。
Antirez发布了专门为DS4推理引擎优化的DeepSeek V4 Flash GGUF量化版本，针对不同内存大小提供了优化配置，使得这个大型MoE模型可以在本地运行。
Developer built a Zig-based LLM inference engine from scratch on Mac in 12h, boosting Qwen 3.5 0.8B speed from 15 to 193 tok/s.