标签
Halocline 是一款开源(MIT 许可)的推理引擎,可在单张 RTX 4090(sm_89)上运行 Qwen 混合专家(MoE)模型和密集模型,提供稀疏与密集两种路径,在质量和速度上与 llama.cpp 及 NInfer 相比均具有竞争力。
该论文提出了一套面向生成式推荐推理的整体优化流水线,利用树注意力(Tree Attention)及其他编译器级优化,消除冗余的 KV 缓存访问和主机端开销,无需定制内核,即可在昇腾 NPU 上将端到端延迟降至 vLLM 的最低 1/25。
Meta 超级智能实验室的研究人员推出了 Fuse-All MoE,这是一种融合式 Pallas TPU 内核,可协同优化 MoE 推理中的专家计算、输出通信和负载均衡。与 Megablox EP16 基线相比,该方法将推理服务吞吐量最高提升了 34.5%,将解码内核延迟最高降低了 21.3%,并显著改善了预填充阶段的负载均衡。
Basalt 0.4.0 新增多模型和路由器支持(DeepSeek V4.1 Flash)、视频和文件支持,以及首个稠密模型 Qwen 3.8 27B NVFP4,在 RTX 5090 上的结构化输出速度最高可达 776 tok/s,相较于 BF16 的 top-1 保真度为 92.8%。
Baseten 开源了一个用 Rust 和 CUDA 从零构建的 DeepSeek V4.1-Flash 推理引擎,在 4 张 B300 GPU 上达到约 1,740 TPS 解码速度,8 张 B300 上约 2,060 TPS,100 万 token 的预填充约需 12 秒。
提出 Evolving Infra,一种面向智能体工作负载的自适应大语言模型服务框架,解耦计算分配与 KV 缓存管理。实验显示,在 GLM-5.2 和 KimiK2.6 上,其端到端延迟及第 95 百分位首词元生成时间(P95 TTFT)较 NVIDIA Dynamo 最多分别降至原来的 1/4.1 和 1/14。
Cohere 的一篇新论文表明,投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能良好运行,因为相邻 token 共享 20%–45% 的专家(而此前预期仅为 4%–12%),使得验证成本远低于此前工作的预测。该研究在 H100 上测试了 10 个 MoE 模型。
一篇“你应该知道”(YSK)帖子揭露,Strata/PolyStrata 通过一项名为“answer_room”的功能,悄悄将模型的思考量限制在 max_tokens 的 75%,并以模型自身的口吻注入一条催促收尾的提示,却不向客户端返回任何错误、标记或结束原因。
一位律师兼 PLI Labs 创始人公布了完整的基准测试数据:在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017(2.75 bpw EXL3),并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型,在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度,结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开,作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。
vLLM 的每日构建版本现已支持 PLE 磁盘卸载,可在 LLM 推理服务中将 KV 缓存卸载至磁盘,缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。
MAServeBench 是一个基准测试框架,将多智能体协作作为可配置的负载维度,用于评估 LLM 服务系统与 GPU/NPU 硬件性能;它通过层级化语义轨迹实现可复现的依赖追踪与任务级测量。
Decagon 介绍了 AutoResearch 系统:由 AI agents 自动诊断推理瓶颈、在生产流量回放环境中验证优化(量化、调度、引擎补丁、投机解码等),报告端到端吞吐提升最高达 2.5x,且生产变更仍需人工审批。
DeepSeek 开源了其推理技术栈 DeepInfer,通过 3FS 复用 SSD 上的 KV 缓存,借助 MLA 将 KV 缓存压缩 93% 的能力,实现首个 token 生成速度最高提升至 26 倍。
该预印本提出 BIEvolve,通过契约引导的静态依赖分析与跨批次数值一致性动态验证,为 LLM 内核生成代理加入批不变性(BI)保障,将 BI 通过率从 67.6% 提升至 91.9%,同时保留 91.8% 的基线加速收益。
WAKMan 是一种面向 LLM 服务器的工作负载感知型 KV 缓存管理器,可根据实时流量自动选择缓存淘汰策略。在混合单轮、多轮及智能体请求的工作负载下,其缓存命中率比 vLLM 的 LRU 策略平均提高 5 个百分点。
NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家(MoE)模型推理的三种优化技术:Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化,以及基于 NEXTN 的多词元预测投机解码,并分析了组合配置下的集成问题。
TAO 提出一个工具感知的联合调度框架,用于基于大语言模型的智能体服务,通过动态规划在容量约束下选择和放置会话,相比最优基线最高降低 26.8% 的延迟、36.3% 的首词元生成时间,并提升 29.5% 的解码吞吐量。
该论文表明,使用 top-k 选择代替经校准的阈值时,MoE 通道选择器无需离线校准数据;同时提出了一种由权重推导的读取器(三值草图 + 低秩映射),仅需读取 17.8% 的路由专家权重即可保持 98.1% 的准确率,并使 MoE 模块相较于优化后的 vLLM 实现 1.60–2.69 倍加速。
Ubicloud介绍了vLLM新增的受限解码支持(vLLM 0.31中的服务端标志)如何修复工具调用schema准确率问题,将较新的Kimi和DeepSeek模型的合规率从vLLM 0.28时的92%提升至100%。
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。