标签
Cohere 的一篇新论文表明，投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能良好运行，因为相邻 token 共享 20%–45% 的专家（而此前预期仅为 4%–12%），使得验证成本远低于此前工作的预测。该研究在 H100 上测试了 10 个 MoE 模型。
一篇关于 NVIDIA 的 TriAttention 研究的讨论，该研究聚焦于 vLLM 中的 KV 缓存压缩，认为真正的收益来自释放 GPU 内存块，而非逐出 token。据报告，解码速度提升至 2.5 倍，KV 缓存内存占用降至原来的 1/10.7。
GAAC 是一种无损 KV 缓存压缩与推理服务系统，通过分组自适应编码和融合注意力内核，利用 BF16 指数部分的冗余，在不对 KV 值进行近似处理的情况下，在 NVIDIA DGX Spark 和 Apple M4 上实现约 1.4 倍的 KV 压缩比和 1.04–1.27 倍的加速。
SVPino 介绍了一款名为 Mischief 1 的图像到视频生成模型，据称比其开源基础模型快 5 倍、推理成本低 80%，非常适合低成本快速迭代创意。
TKintegers 推出基于平衡三进制权重表示 K5 的转换器与 GPU 推理实现，在 NVIDIA L4 上对 Qwen2.5-0.5B-Instruct 实现了相对于 TorchAO FP8 基线约 3.21× 的预填充吞吐量提升与 3.10× 的解码吞吐量提升。
文章清晰解释了前缀感知的 LLM 路由机制：通过按块哈希提示词并维护块到 worker 的索引，让请求路由到持有共享前缀 KV 缓存的 GPU，实测在 8 个 vLLM Pod（16 张 H100）上将 p90 首 token 延迟从 92.5 秒降至 0.54 秒。
llama.cpp 提交了一个针对 Gemma 4 小模型 E2B、E4B 的提速 PR，让跨层复用 KV 的层在预填充时只计算最后一个 token，在 M4 Pro（Metal）上将 E2B 的 prompt 处理速度从约 1614 tok/s 提升到 4603 tok/s（约 2.9 倍），且输出结果保持一致。
Basalt（Strata 的一个分支）合入了新的 PR，搭配 IQ3_S 量化的 Qwen3.8 Flash Next，在单张 RTX 5080 和 64GB DDR5 内存的配置下创下了新的基准测试纪录：在实时 opencode 编程会话中，提示词处理速度达到 5500 token/秒，峰值生成速度高达 275 token/秒。
一篇技术博客深入解析 Meta 于 10 月 15 日发布的开源模型 Muse Spark Open（816B 总参数、42B 激活参数的 MoE 架构），并介绍 Daniel Gross 发起的 10 万美元 Open Kernel Challenge，邀请开发者在 H200 上优化其推理内核与 SGLang 服务性能。
Decagon 介绍了 AutoResearch 系统：由 AI agents 自动诊断推理瓶颈、在生产流量回放环境中验证优化（量化、调度、引擎补丁、投机解码等），报告端到端吞吐提升最高达 2.5x，且生产变更仍需人工审批。
一位爱好者详细记录了为期两天的调优过程：使用单张 Tesla P40 24GB（PCIe x1）运行 35B-A3B Ornith 1.5 MoE 模型，支持完整的 262k 上下文，在短提示下达到约 60 token/秒，在 100k 上下文深度下达到约 30 token/秒，同时权重量化不低于 Q4，KV 缓存量化不低于 q8。这些成果通过禁用 ECC、采用 int8 dp4a 注意力，以及对训练过的 MTP 草稿头进行检查实现。
WAKMan 是一种面向 LLM 服务器的工作负载感知型 KV 缓存管理器，可根据实时流量自动选择缓存淘汰策略。在混合单轮、多轮及智能体请求的工作负载下，其缓存命中率比 vLLM 的 LRU 策略平均提高 5 个百分点。
NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家（MoE）模型推理的三种优化技术：Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化，以及基于 NEXTN 的多词元预测投机解码，并分析了组合配置下的集成问题。
TAO 提出一个工具感知的联合调度框架，用于基于大语言模型的智能体服务，通过动态规划在容量约束下选择和放置会话，相比最优基线最高降低 26.8% 的延迟、36.3% 的首词元生成时间，并提升 29.5% 的解码吞吐量。
该论文表明，使用 top-k 选择代替经校准的阈值时，MoE 通道选择器无需离线校准数据；同时提出了一种由权重推导的读取器（三值草图 + 低秩映射），仅需读取 17.8% 的路由专家权重即可保持 98.1% 的准确率，并使 MoE 模块相较于优化后的 vLLM 实现 1.60–2.69 倍加速。
Google Gemma 声称利用 Gemini 4 Argon 在 A100 上通过 vLLM 实现了 2.85 倍推理加速，gemma-4-E2B-it 吞吐量从约 37,900 提升至 108,000+ tokens/sec，且保持 100% token parity、无质量下降。
讨论指出 DeepSeek 开源的 DeepInfer 是为 DeepSeek 4.1F 深度定制的推理框架，其 KV cache 极度优化（每 token 仅 890 字节），因此任务调度完全无需考虑显存容量；相比之下 Kimi 系列模型 KV cache 开销高出 15-30 倍，导致推理性能和用户体验不佳。
一篇《麻省理工科技评论》的赞助文章指出，企业 AI 的竞争优势如今在于推理服务支撑体系——架构、内存管理、调度和成本优化——而非模型选择本身。文章敦促领导者围绕延迟、并发和 GPU 利用率等工作负载约束来设计生产系统。
一个针对 llama.cpp 的拉取请求重构了对英特尔 XMX 矩阵引擎的支持，大幅提升了英特尔硬件上的推测解码性能。
一位爱好者分享了测试结果：在配备 4 块 Intel B65 的系统上，将分块大小增至 8192 后，vLLM Flash-Next 的预填充速度提升约 30%，首 token 延迟（TTFT）缩短约 30%，并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。