标签
NVIDIA 展示了欧洲零售商如何采用其开放模型和物理智能技术——Shopify 将推理成本削减 90%，zooplus、Vestiaire Collective 和 L'Oréal 等零售商利用数字孪生和 AI 实现产品发现、图像处理与研发。
提出 KVLearn——一种面向分离式 LLM 服务架构的基于学习的 KV 缓存保留框架，通过前缀复用预测、成本感知保留分数和自适应阈值控制，端到端首 token 延迟最多降低 56%，节点间 KV 传输量最多减少 53%。
蚂蚁集团与 vLLM 社区宣布开源 Humming，这是一个面向量化推理的通用高性能 Kernel 库，支持广泛的 GPU 覆盖和多种量化格式，性能超越 Marlin、FlashInfer 和 DeepGEMM 等现有实现。
一篇提出「缓存工程（cache engineering）」的论文：让 LLM 智能体通过 drop 和 repos 操作直接操纵自身的 KV cache，同时不使轨迹失效；该方法与 AKV 服务引擎协同设计，实现了 27.7% 的成本降低、1.2 倍吞吐量提升，并通过缓存策略的递归自我改进进一步节省 7.1%。
NVIDIA 研究人员提出 MLIPS，一种免训练方法，通过在稀疏注意力层之间共享生产者层的广泛候选池，在 DeepSeek-V4-Flash 上实现 1.14–1.40 倍加速和 14.8–27.4% 的 GPU 能耗降低，且精度变化极小。
EAGLE-4 发布，作为投机解码加速组件在 Qwen3.8-27B 上达到 961.6 tokens/s，单请求下比 DFlash 2 快 1.28 倍、比 DSpark 快 1.40 倍，通过“草拟并验证”循环实现约 3 倍加速且输出完全一致。
提出 ALLOT：一种免训练的块稀疏注意力分配方法，通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度，在 HunyuanVideo 上实现 11.8 dB PSNR 提升。
NVIDIA 的 Ujval Kapasi 在 PyTorchCon 2026 上发表主旨演讲，阐述智能体工作负载对 PyTorch 技术栈的需求，并以 NVIDIA Vera Rubin 为案例，介绍涵盖 CPU、GPU、内存和网络的软硬件协同设计，以及在 PyTorch、Triton 和 vLLM 上的优化工作。
Shopify 在 PyTorchCon 2026 主旨演讲中展示基于 PyTorch 与 vLLM 的持续学习闭环：校准评审模型标记低分输出，批评者诊断失败并通过重放修复，使小规模专用模型在特定任务上超越前沿模型，同时通过提示压缩优化推理。
该论文研究在 MoE 模型 prefill 阶段减少路由专家对短答案问答 F1 的影响，发现大部分损失来自提示词首尾少数敏感 token，并提出让约 4% 的 token 保持全专家，从而几乎无损地降低 TTFT。
本文提出了Apex，一个CPU-GPU协同的MoE推理系统，该系统根据token负载自适应地将GPU未命中的专家分配到CPU或GPU上，相比最强基线，预填充速度提升最高达51.9%，解码吞吐量提升最高达39.5%。
在 llama.cpp 中提出了新的 IQ_K 量化类型（IQ2_K 到 IQ6_K），在相同文件大小下相比现有 Q 系列量化有显著的 KLD 改善，但性能略有下降，且创建量化的时间更长。
一份社区指南：使用 ple_fp8_pack.py 将 safetensors 打包为 GGUF 边车文件，以完整的 FP8 n-gram 表（PLE）运行 Qwen 3.8 Flash Next，替代大幅量化版本。结果输出质量明显提升，且没有速度损失。
研究人员提出 ORL（On-Policy Residual Learning）与自研推理引擎 dlmrt，使扩散语言模型在单张 RTX 5090 上达到 2,788 tokens/s，8×B200 上达 7,708 tokens/s，端到端吞吐提升最高 6.9 倍且质量不降，模型、训练代码与推理引擎全部开源。
Apple ML Research 推出 RSI-Inference Bench，这是一套基于真实世界 vLLM 和 SGLang 推理工程任务构建的基准与测试环境，用于检验 AI 智能体能否改进驱动 AI 的系统——结果显示，在花费 10 万美元 API token 和 5 万 GPU 小时后，最佳智能体的 pass@1 仅为 26.7%。
Zakaria 介绍 overshoot：一款优化 AI 团队推理栈的软件，号称可将 GPU 成本减半且无质量损失，用户累计已节省超 500 万美元。Jerry Liu 转发祝贺其发布。
该论文论证冻结的短上下文草稿模型无需重新训练即可用于超长上下文的推测解码，通过限制注意力缓存和重置旋转位置编码两种推理时机制，使其速度优势在长达两百万 token 的上下文中保持稳定。
RoLaQ提出了针对多头潜注意力（MLA）模型的2位KV缓存联合旋转与范围校准的离线量化方法，在DeepSeek-V2-Lite上实现3.96倍BF16 KV容量和2.51倍解码吞吐提升。
Drama3 模型现已支持在 audio.cpp 中运行，在 RTX 5090 上全速运行时最快可达实时速度的 5 倍，或在低于 8 GB 显存下以约 2 倍实时速度运行，仍需进一步优化与修正。
DLite提出一种无历史上下文的投机解码框架，通过复用目标模型的隐状态进行局部预测并省去历史KV缓存维护，在agentic工作负载下将接受长度提升至2-6，较SOTA方法DSpark提升最高70%。