标签
DSpark 是一个推测解码框架，结合了半自回归草稿生成与置信度调度验证，以加速大语言模型推理，并在高并发场景下提升吞吐量。
工程师成功在 AMD MI355X 上部署 GLM 5.2，达到每节点 2626 tok/s 和单流 213 tok/s 的性能，相当于 B200 吞吐量的约 80%，而成本不到 Blackwell 的一半。
Etched 宣布在成功完成 A0 流片后走出隐身模式，拥有超过 10 亿美元的客户合同和 8 亿美元融资，声称其首批机架将于今年夏天发货，推理性能达到业界最先进水平。
AI 推理硬件初创公司 Etched 在获得 8 亿美元融资并签署超过 10 亿美元客户合同后结束隐身模式。首批机架将于今年夏季发货，声称在吞吐量、延迟和能效方面达到业界领先水平。
来自 DeepSeek AI 的 DSpark 集成了投机解码思路，在生产系统中实现 1.5 到 5 倍的吞吐量提升。本推文从基础开始讲解了 10 个关键思路。
通过修复加载器中量化格式路由错误，在 2× RTX PRO 6000 上实现了 DeepSeek-V4-Flash MTP 投机解码，吞吐量提升 38%。
SGLang 为 DeepSeek-V4 提供了首日支持，LMSys 与 NVIDIA 工程团队的合作在生产环境中实现了高达 5 倍的吞吐量提升，相关改进已在 SemiAnalysis InferenceX 仪表盘上展示。
报告在8-16张MI50 GPU上运行的Minimax M3模型达到每秒19个token的峰值吞吐量。
Ray Serve LLM 在 Ray 2.56 中，对预填充密集型工作负载实现了高达 4 倍的吞吐量提升，对解码密集型工作负载实现了 24 倍的提升，在生产基准测试中与基于 Rust 的路由框架（如 vllm-router）性能相当，这是与 Google Cloud GKE 团队合作宣布的。
Kimi K2.7 Code High Speed 模型提供5倍吞吐量，成本仅为2倍，从而在代理系统内进行选择性路由
本指南解释了AI推理工程这一学科，涵盖了预填充和解码阶段的划分、从封闭模型到开放模型的转变，以及针对延迟、吞吐量和成本的优化技术。
Z Lab、SGLang和Modal发布DFlash，这是一种针对Qwen 3.5 397B-A17B的新型投机解码模型，采用块扩散和KV注入技术，相较于基线实现超过4倍吞吐量提升，相较于原生MTP实现1.5倍提升。
Modal、SGLang 和 Z Lab 之间的合作将 DFlash 推测方案集成到 SGLang 中，为阿里巴巴的 Qwen 397B-A17B 模型实现了高达 4.3 倍的吞吐量提升，推动了开放智能的发展。
关于 DFlash 和 Spec V2 推测解码方法的新研究实现了 LLM 推理的 >4.3倍基准吞吐量，现已成为 SGLang 的默认推测解码引擎。
使用Gemma模型的多智能体协作取得了显著的吞吐量提升，并展现出涌现性社会行为，如组成联盟、发布道德声明、协调资源，在48小时内吸引了超过60个智能体和250份提交。
小米与TileRT使用标准商用GPU，在万亿参数模型上实现了每秒超过1000个token的推理速度，这显示了定制芯片之外的一个重要替代方案。
打包双推理（PTI）是一种通过单批解码中运行多个token序列来实现约2倍LLM吞吐量的技术，它利用了llama.cpp中的权重共享，无需草稿模型或额外VRAM。
一条推文讨论了使用类似S3的对象存储和内容寻址构建具有无限吞吐量的事务数据库的想法，其中块被并行写入，根哈希定期更新。
Amazon 推出了“Resilient Network Graphs”（RNG），这是一种数据中心网络设计，可将硬件需求降低 69%，并将吞吐量提升 33%。自去年悄然部署以来，现已成为大多数 AWS 工作负载的默认网络。
使用 VLLM 在双 RTX PRO 6000 GPU 上对 Qwen 3.6 27B 和 35B 模型进行基准测试，生成吞吐量高达每秒 3500 个令牌。