标签
Kimi K3上线两天即冲到OpenRouter第10名，日均处理1400亿Token，但因负载过高导致吞吐下降、延迟飙升。
NVIDIA推出关于AI模型协同设计（AI Model Co-Design）的系列内容，解释模型维度如何影响GPU性能，以及LLM部署中吞吐量与交互性之间的权衡。第一篇文章提供了设计硬件友好型LLM的实用入门指南，以提升系统吞吐量和用户响应速度。
本文介绍了一种低精度（NVFP4）强化学习训练的方法，平衡了吞吐量和稳定性，解决了前向和后向传播量化误差的问题。
一个实时演示展示了16个并发用户在同一台DGX Spark上与Qwen3.6-35B聊天，使用vLLM上的NVFP4 + MTP-3，达到总峰值440 tok/s，每用户105 tok/s。
DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 GPU 上实现了 328 tok/s 的单次推理和 1.7k tok/s 的批量吞吐量。
这个线程推荐了三篇掌握LLM推理的关键论文：PagedAttention、Sarathi-Serve和SGLang，它们介绍了高效的内存管理、分块预填充和结构化生成技术，这些技术被用于现代推理引擎如vLLM和TensorRT-LLM中。
本文介绍了Nemotron-Labs-Diffusion，一种三模式语言模型，统一了自回归、扩散与自推测解码，与现有模型相比实现了更优的吞吐量和效率。
DSpark 是一个推测解码框架，结合了半自回归草稿生成与置信度调度验证，以加速大语言模型推理，并在高并发场景下提升吞吐量。
工程师成功在 AMD MI355X 上部署 GLM 5.2，达到每节点 2626 tok/s 和单流 213 tok/s 的性能，相当于 B200 吞吐量的约 80%，而成本不到 Blackwell 的一半。
Etched 宣布在成功完成 A0 流片后走出隐身模式，拥有超过 10 亿美元的客户合同和 8 亿美元融资，声称其首批机架将于今年夏天发货，推理性能达到业界最先进水平。
AI 推理硬件初创公司 Etched 在获得 8 亿美元融资并签署超过 10 亿美元客户合同后结束隐身模式。首批机架将于今年夏季发货，声称在吞吐量、延迟和能效方面达到业界领先水平。
来自 DeepSeek AI 的 DSpark 集成了投机解码思路，在生产系统中实现 1.5 到 5 倍的吞吐量提升。本推文从基础开始讲解了 10 个关键思路。
通过修复加载器中量化格式路由错误，在 2× RTX PRO 6000 上实现了 DeepSeek-V4-Flash MTP 投机解码，吞吐量提升 38%。
SGLang 为 DeepSeek-V4 提供了首日支持，LMSys 与 NVIDIA 工程团队的合作在生产环境中实现了高达 5 倍的吞吐量提升，相关改进已在 SemiAnalysis InferenceX 仪表盘上展示。
报告在8-16张MI50 GPU上运行的Minimax M3模型达到每秒19个token的峰值吞吐量。
Ray Serve LLM 在 Ray 2.56 中，对预填充密集型工作负载实现了高达 4 倍的吞吐量提升，对解码密集型工作负载实现了 24 倍的提升，在生产基准测试中与基于 Rust 的路由框架（如 vllm-router）性能相当，这是与 Google Cloud GKE 团队合作宣布的。
Kimi K2.7 Code High Speed 模型提供5倍吞吐量，成本仅为2倍，从而在代理系统内进行选择性路由
本指南解释了AI推理工程这一学科，涵盖了预填充和解码阶段的划分、从封闭模型到开放模型的转变，以及针对延迟、吞吐量和成本的优化技术。
Z Lab、SGLang和Modal发布DFlash，这是一种针对Qwen 3.5 397B-A17B的新型投机解码模型，采用块扩散和KV注入技术，相较于基线实现超过4倍吞吐量提升，相较于原生MTP实现1.5倍提升。
Modal、SGLang 和 Z Lab 之间的合作将 DFlash 推测方案集成到 SGLang 中，为阿里巴巴的 Qwen 397B-A17B 模型实现了高达 4.3 倍的吞吐量提升，推动了开放智能的发展。