标签
Flide 是一款高效且精确的 LLM 决策模型推理引擎，通过 ForkAttention 将逻辑树结构与单一的扁平化词元流解耦，查询响应速度最高可达 vLLM 和 SGLang 的 9.5 倍，同时结果最接近 float32 参考值。
开源 Apple Silicon 推理引擎 Kapitsa 0.2.26 公布了 Qwen、Nemotron、Flint 和 Clover 模型在 M5 Max 上的基准测试结果，展示了其 KFlash 最佳优先树验证技术和 SSD 卸载功能，可在配备 48GB 内存的 MacBook Pro 上以每秒 61 个 token 的速度运行 180B 参数的 MoE 模型。
作者测量了有损推理引擎标志（路由偏置和尾部跳过）对模型质量的影响，结果表明：在显存充足的情况下，出厂默认设置会导致约 1.5 个准确率点的损失，而在小显存显卡上损失约为其 3 倍；若采取过于激进的设置，则会产生看似自信实则胡言乱语的输出。
一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。
TryMirai 开源了 uzu —— 一款 Apple Silicon 推理引擎，其核心特性是 Weaver + DFlash 投机解码，能让 9B 参数 LLM（Qwen3.5）在本地运行速度提升 4 倍，比标准投机解码快 2.6 倍。
NInfer v0.3.0 是一个用于在魔改 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B 的推理引擎，新增了 Windows 原生支持和预编译发布版本，将二进制文件压缩至 0.28 GB，配合 MTP 投机解码最高可达 47.5 tok/s 的解码速度。
作者测试了 Strata 0.2.7.1 的两项路由优化（STRATA_ROUTE_PRIOR 和 STRATA_ROUTE_TAIL_SKIP）在 Qwen 3.8 Flash Next IQ3_S 上对编码、数学和指令遵循任务的影响，发现路由先验可大幅提升解码速度，且在长推理下质量损失基本可忽略。
Magnitude 是一个开源的 Rust LLM 推理引擎，能够根据你的本地硬件自动调优 GPU kernel，声称在 MacBook 上解码速度比 Ollama 快 2.7 倍，预填充速度快 1.6 倍，并支持一键集成到 Claude Code 和 Codex 等 agent 中。
Delta Inference Engine 是一个 Windows 原生推理引擎，可在单张消费级 NVIDIA GPU 上以 2-bit 量化运行 5520 亿参数的 DeepSeek-V4.1-Flash-1017，RTX 3090 上生成速度达 41 tok/s，并提供 OpenAI 兼容 API。
OpenJet 的新版本在单张 RTX 3090 上通过自定义 CUDA megakernel 引擎并行服务最多 4 个编码代理，总吞吐达约 290 tok/s，是 llama-server --parallel 的 3-4 倍。核心思路是每步将所有活跃代理的工作堆叠成一个批处理，权重只读一次并用张量核同时处理所有行。
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎（basalt、capy-flash、ninfer-ext）进行完整 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（预填充速度为 8.1k–9.2k 词元/秒，贪心解码速度为 176–265 词元/秒），解码排名与 MTP 草稿接受率一致。
Kapitsa 是一款针对 Apple Silicon 优化的开源推理引擎，在配备 48GB 内存的 MacBook Pro M4 Pro 上运行 Recursive 全新的 Flint 40B Q4 模型时，解码速度达到每秒 128 个 token，在长上下文解码和预填充基准测试中优于 llama.cpp 和 Recursive 自家的引擎。
Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码（speculative decoding）方法。该方法在 M4 Pro 和 M1 Pro MacBook 上，基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试，展现出顶尖的解码吞吐量（约 65–201 tok/s）。
Blockway 团队发布了 Volundr 32B 模型及自研 Agens Engine 推理引擎（MIT 开源），通过让 72 层中的 54 层使用固定大小状态替代增长的 KV cache，使 262K 长上下文能在 16 GB GPU 预算内运行，并演示了 110K token 冷读约 69 秒、后续追问 0.5 秒回答的实测。
Nace.ai 发布开源（Apache 2.0）Apple Silicon 优化 Metal 推理引擎 Kapitsa，专为 Qwen 和 Nemotron 模型定制内核，并在 M1 Pro、M4 Pro、M5 Max 上公布对比 MLX、llama.cpp、Ollama 等引擎的解码基准。
Blockway 发布 Agens Volundr 32B v1，修复 Preview 版的循环与推理截断问题，并开源 MIT 许可的 Agens Engine 推理引擎，其混合状态架构配合 2/3/4 混合量化可在 16 GB 显存预算内运行 262K 上下文（实测至 239K）。
Basalt 推理工具新增原生 NVFP4 支持与更快的 Prefill，可在单张 RTX 5090 上运行 Qwen3.8 Flash-Next，解码速度最高达 479 tok/s，Prefill 速度达 8,582 tok/s，同时质量接近 Q8 水平。
Xolotl 是一个基于 Strata 的推理引擎，可在单张 RTX 4090 消费级 PC 上以约 27 tok/s 运行 552B 的 DeepSeek-V4.1-Flash，并即将支持新的 1017 量化版本。
antirez 的 DwarfStar（ds4）项目在 PR #1225 中新增了对 DeepSeek V4.1 Flash 的支持，进一步扩展了其专用原生推理引擎的能力，可在消费级硬件上跨 Metal、CUDA 和 ROCm 运行 DeepSeek、GLM 和 Qwen 等开放权重模型。
capy-flash 是基于 ninfer-tp2 进化的本地推理引擎，可在两张 16GB 消费级 RTX 5070 Ti 上以 NVFP4 全精度量化运行 Qwen3.8-Flash-Next 125B-A6B（MoE 专家卸载至内存），生成速度约 100 tok/s，超过 Strata。作者还发现并修复了张量并行下双重 BF16 舍入导致的误差放大问题，改用 FP16 传输部分和即可获得与单 GPU 相当的数值精度。