serving

标签

Cards List
#serving

llm-d(网站)

TLDR AI ↗ · 2026-10-21 缓存

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈,支持 vLLM、SGLang 等引擎,可在 GPU、TPU、XPU 等异构硬件上提供生产级服务,并宣称大幅提升吞吐量与降低 TTFT。

0 人收藏 0 人点赞
#serving

DeepInfer:DeepSeek 模型高性能推理框架

Hacker News Top ↗ · 2026-10-20 缓存

DeepSeek 开源了 DeepInfer——支撑其大规模生产服务的高性能推理框架,具备优化内核、MoE 专家并行、投机解码、批不变推理等特性,并支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

0 人收藏 0 人点赞
#serving

GitHub - giveen/Decapybara:MegaCapybara 推理服务器的开源 C++20 与 CUDA 重构实现

Reddit r/LocalLLaMA ↗ · 2026-10-11 缓存

Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现,面向 NVIDIA RTX 5090 Blackwell 硬件,支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。

0 人收藏 0 人点赞
#serving

Prime Inference:为前沿开源模型提供快速、可靠的推理服务(18 分钟阅读)

TLDR AI ↗ · 2026-10-05 缓存

Prime Intellect 今日发布 Prime Inference,提供面向前沿开源模型的低延迟、高可靠的推理服务,涵盖无服务器端点与预留容量,已在 NVIDIA Blackwell GPU 集群上为 GLM-5.3 等模型提供近乎零工具调用错误率和 100% 可用性的生产级部署。

0 人收藏 0 人点赞
#serving

@akshay_pachaar: LLM推理中的批处理策略,清晰解释!(收藏它)- 静态 - 动态 - 和连续批处理 I w…

X AI KOLs Timeline ↗ · 2026-09-01 缓存

一篇解释LLM推理中静态、动态和连续批处理策略的文章,以及为什么提供LLM服务与传统ML推理不同。

0 人收藏 0 人点赞
#serving

EschaLabs/Qwen3.8-27B-Escha-W2

Hugging Face Models Trending ↗ · 2026-08-20 缓存

Escha Labs发布了一个2位量化的Qwen3.8-27B AI模型版本,使其能够在单个24GB消费级GPU上运行,支持高达64k的上下文长度,同时保持与FP8参考版本相当的性能。

0 人收藏 0 人点赞
#serving

@akshay_pachaar: LLM工程师手册(每天30分钟,10周,50课)一个面向LLM推理服务的路线图,一切都指向一个服务,而不是分散在多个演示中。

X AI KOLs Following ↗ · 2026-08-14 缓存

一个为期10周、每天30分钟的工程师学习LLM推理服务的路线图,涵盖vLLM、SGLang、负载测试、量化以及优化技术,以构建一个可复现的基准测试。

0 人收藏 0 人点赞
#serving

@QuixiAI:我让 DeepSeek v4 Flash 0731 在 4x A100 上用 SlimServe 运行起来。单请求 175 tok/s,64 并发 1k tok/s…

X AI KOLs Timeline ↗ · 2026-08-10 缓存

QuixiAI 报告称,使用 SlimServe 在 4x A100 上运行 DeepSeek v4 Flash 0731,单请求达到 175 tok/s,64 并发请求达到 1k tok/s。

0 人收藏 0 人点赞
#serving

在 2x DGX Spark 上部署 DeepSeek v4 Flash 0731 — 5-7 GB 操作系统余量,你会如何降低 VRAM 占用并增加操作系统可用 RAM?

Reddit r/LocalLLaMA ↗ · 2026-08-07

用户在使用 vLLM 在两台 DGX Spark 机器上部署 DeepSeek-V4-Flash-0731 时,寻求社区关于降低 VRAM 占用和释放操作系统 RAM 的建议,分享了详细的配置和内存测量数据。

0 人收藏 0 人点赞
#serving

我将vLLM的服务栈移植到C++20:66 MiB二进制,推理时无Python,输出与vLLM逐token核对

Reddit r/LocalLLaMA ↗ · 2026-08-06

作者将vLLM的服务栈移植到C++20,生成一个66 MiB的二进制文件,推理时无Python,可逐token与vLLM核对,且在测试硬件上吞吐量具竞争力。

0 人收藏 0 人点赞
#serving

RAG-Stack:协同优化RAG服务性能与质量

arXiv cs.AI ↗ · 2026-08-06 缓存

本文介绍了RAG-Stack,一个通过高效探索算法-系统联合配置空间来协同优化RAG服务性能与答案质量的框架。它找到的Pareto前沿比现有配置搜索方法覆盖了显著更广的质量-性能空间。

0 人收藏 0 人点赞
#serving

xMIx:面向机械可解释性应用的高性能服务时平台

arXiv cs.AI ↗ · 2026-07-28 缓存

xMIx 是一个原生服务平台,能够以极低的开销在生产级 LLM 服务系统中部署机械可解释性应用,通过将 MI 函数附加到模型层并在运行时动态激活,实现接近原生的性能。

0 人收藏 0 人点赞
#serving

MIT LLM Serve Dashboard 我正在开源

Reddit r/LocalLLaMA ↗ · 2026-07-10

一个用于服务LLM的新开源仪表盘,由MIT开发,即将发布。

0 人收藏 0 人点赞
#serving

@JiaZhihao: 激动分享 Lithos 为 Kimi K2.7 Code 提供的服务栈,这是一个拥有1万亿参数的前沿编码模型。

X AI KOLs Timeline ↗ · 2026-07-10 缓存

Lithos 宣布其推理引擎服务 Kimi K2.7 Code,在单个8×B200节点上以原生精度实现每个用户每秒超过1000 token,速度比主流提供商快3.4-5.7倍。

0 人收藏 0 人点赞
#serving

面向高效大语言模型服务:系统感知KV缓存优化综述

arXiv cs.LG ↗ · 2026-07-10 缓存

一篇系统综述,回顾系统感知的KV缓存优化技术,用于高效的大语言模型服务,将现有工作组织为执行/调度、放置/迁移和表示/保留三个维度。

0 人收藏 0 人点赞
#serving

@h100envy: 前伯克利博士,在 xAI 领导 SGLang 团队,解释了如何在 23 分钟内用 10 万块 GPU 为 Grok 提供服务——比价值 2000 美元的……更好

X AI KOLs Timeline ↗ · 2026-07-06 缓存

一位在 xAI 领导 SGLang 团队的前伯克利博士,解释了如何使用分离预填充/解码、专家分片以及通信/计算重叠,在 10 万块 GPU 上为 Grok 提供服务,以实现碾压 DeepSeek API 的价格。

0 人收藏 0 人点赞
#serving

@kazukifujii: 樱花互联网的Michishita-san的文章全面总结了LLM推理,强烈推荐。它涵…

X AI KOLs Timeline ↗ · 2026-06-18 缓存

本文总结了Junda Chen关于LLM分解推理的演讲,解释了为什么goodput(满足延迟SLO的吞吐量)比原始吞吐量更重要,以及分离预填充和解码阶段如何提升性能。文章还强调了其对NVIDIA Dynamo的影响。

0 人收藏 0 人点赞
#serving

超越预测:面向尾延迟的LLM推理调度

arXiv cs.LG ↗ · 2026-06-18 缓存

本文提出了一种面向LLM推理的分布感知、无预测调度框架,利用轻量级统计信号以软优先级提升替代显式长度预测。该方法联合优化调度与缓存感知的抢占,以降低尾部延迟,相比具备完美长度知识的SRPT,P99 TTLT最多降低35-50%。

0 人收藏 0 人点赞
#serving

可能是个愚蠢的问题,但如何为多个用户提供完整的上下文长度?

Reddit r/LocalLLaMA ↗ · 2026-06-15

用户询问llama.cpp如何为每个用户提供完整的上下文长度,并指出它似乎只是共享上下文池,而不是为每个用户提供专用上下文。

0 人收藏 0 人点赞
#serving

@vllm_project: 祝贺@GoogleDeepMind推出DiffusionGemma——一个基于Gemma4主干网络的260亿参数扩散语言模型,也是首个dLLM……

X AI KOLs Timeline ↗ · 2026-06-10 缓存

vLLM宣布原生支持Google DeepMind的DiffusionGemma,这是一个260亿参数的离散扩散语言模型,能够并行生成256个token的块,在单个H200上实现1200+ tok/s的低延迟推理。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈