标签
llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈,支持 vLLM、SGLang 等引擎,可在 GPU、TPU、XPU 等异构硬件上提供生产级服务,并宣称大幅提升吞吐量与降低 TTFT。
DeepSeek 开源了 DeepInfer——支撑其大规模生产服务的高性能推理框架,具备优化内核、MoE 专家并行、投机解码、批不变推理等特性,并支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现,面向 NVIDIA RTX 5090 Blackwell 硬件,支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。
Prime Intellect 今日发布 Prime Inference,提供面向前沿开源模型的低延迟、高可靠的推理服务,涵盖无服务器端点与预留容量,已在 NVIDIA Blackwell GPU 集群上为 GLM-5.3 等模型提供近乎零工具调用错误率和 100% 可用性的生产级部署。
一篇解释LLM推理中静态、动态和连续批处理策略的文章,以及为什么提供LLM服务与传统ML推理不同。
Escha Labs发布了一个2位量化的Qwen3.8-27B AI模型版本,使其能够在单个24GB消费级GPU上运行,支持高达64k的上下文长度,同时保持与FP8参考版本相当的性能。
一个为期10周、每天30分钟的工程师学习LLM推理服务的路线图,涵盖vLLM、SGLang、负载测试、量化以及优化技术,以构建一个可复现的基准测试。
QuixiAI 报告称,使用 SlimServe 在 4x A100 上运行 DeepSeek v4 Flash 0731,单请求达到 175 tok/s,64 并发请求达到 1k tok/s。
用户在使用 vLLM 在两台 DGX Spark 机器上部署 DeepSeek-V4-Flash-0731 时,寻求社区关于降低 VRAM 占用和释放操作系统 RAM 的建议,分享了详细的配置和内存测量数据。
作者将vLLM的服务栈移植到C++20,生成一个66 MiB的二进制文件,推理时无Python,可逐token与vLLM核对,且在测试硬件上吞吐量具竞争力。
本文介绍了RAG-Stack,一个通过高效探索算法-系统联合配置空间来协同优化RAG服务性能与答案质量的框架。它找到的Pareto前沿比现有配置搜索方法覆盖了显著更广的质量-性能空间。
xMIx 是一个原生服务平台,能够以极低的开销在生产级 LLM 服务系统中部署机械可解释性应用,通过将 MI 函数附加到模型层并在运行时动态激活,实现接近原生的性能。
Lithos 宣布其推理引擎服务 Kimi K2.7 Code,在单个8×B200节点上以原生精度实现每个用户每秒超过1000 token,速度比主流提供商快3.4-5.7倍。
一篇系统综述,回顾系统感知的KV缓存优化技术,用于高效的大语言模型服务,将现有工作组织为执行/调度、放置/迁移和表示/保留三个维度。
一位在 xAI 领导 SGLang 团队的前伯克利博士,解释了如何使用分离预填充/解码、专家分片以及通信/计算重叠,在 10 万块 GPU 上为 Grok 提供服务,以实现碾压 DeepSeek API 的价格。
本文总结了Junda Chen关于LLM分解推理的演讲,解释了为什么goodput(满足延迟SLO的吞吐量)比原始吞吐量更重要,以及分离预填充和解码阶段如何提升性能。文章还强调了其对NVIDIA Dynamo的影响。
本文提出了一种面向LLM推理的分布感知、无预测调度框架,利用轻量级统计信号以软优先级提升替代显式长度预测。该方法联合优化调度与缓存感知的抢占,以降低尾部延迟,相比具备完美长度知识的SRPT,P99 TTLT最多降低35-50%。
用户询问llama.cpp如何为每个用户提供完整的上下文长度,并指出它似乎只是共享上下文池,而不是为每个用户提供专用上下文。
vLLM宣布原生支持Google DeepMind的DiffusionGemma,这是一个260亿参数的离散扩散语言模型,能够并行生成256个token的块,在单个H200上实现1200+ tok/s的低延迟推理。