llm-serving

标签

Cards List
#llm-serving

保留还是不保留:学习解耦式大语言模型服务系统中的 KV 缓存保留策略

arXiv cs.LG ↗ · 2026-10-22 缓存

提出 KVLearn——一种面向分离式 LLM 服务架构的基于学习的 KV 缓存保留框架,通过前缀复用预测、成本感知保留分数和自适应阈值控制,端到端首 token 延迟最多降低 56%,节点间 KV 传输量最多减少 53%。

0 人收藏 0 人点赞
#llm-serving

@rohanpaul_ai:目前,一些最有价值的推理工作正在推测解码组件中展开。它已成为一个……

X AI KOLs Following ↗ · 2026-10-21 缓存

EAGLE-4 发布,作为投机解码加速组件在 Qwen3.8-27B 上达到 961.6 tokens/s,单请求下比 DFlash 2 快 1.28 倍、比 DSpark 快 1.40 倍,通过“草拟并验证”循环实现约 3 倍加速且输出完全一致。

0 人收藏 0 人点赞
#llm-serving

Eagle-4 发布:速度超越 DFlash2 与 DSpark

Reddit r/LocalLLaMA ↗ · 2026-10-20 缓存

EAGLE-4 发布:新一代投机解码草稿模型与 eagle-harness 工具包,可跨批量大小、硬件和工作负载自适应加速 LLM 推理,速度超过 DFlash2 与 DSpark,支持 SGLang、vLLM 和 TokenSpeed 引擎。

0 人收藏 0 人点赞
#llm-serving

只要让引擎轮流上场,24GB 就完全够用

Reddit r/LocalLLaMA ↗ · 2026-10-20

Berth 是一个系统服务,能够在单张 GPU 上自动交换和加载 AI 引擎,管理显存占用,让 ComfyUI、llama-swap、OpenWebUI 这类工具不再浪费显存或相互冲突。它还通过统一的 API 端点暴露引擎,实现跨工作负载的无缝切换,包括游戏场景。

0 人收藏 0 人点赞
#llm-serving

@svpino:11月3日 — Forge '26 — 旧金山。这可能是全球最大的AI活动之一。NVIDIA的Jensen H……

X AI KOLs Timeline ↗ · 2026-10-19 缓存

Forge '26 由 Fireworks AI 主办,将于11月3日在旧金山举行,号称是年度最大的AI活动之一,届时将有与 NVIDIA 的 Jensen Huang 和 DHH 的炉边对谈,以及 Fireworks CEO Lin Qiao 的主题演讲。活动免费,但需申请参加。这场活动聚焦于顶尖团队如何选择模型、设计评估、部署服务以及在生产环境中进行请求路由。

0 人收藏 0 人点赞
#llm-serving

MoE 模型中 Prefill 专家裁剪的伤害所在:少数提示词 token 承担了大部分短答案 F1 损失

arXiv cs.CL ↗ · 2026-10-19 缓存

该论文研究在 MoE 模型 prefill 阶段减少路由专家对短答案问答 F1 的影响,发现大部分损失来自提示词首尾少数敏感 token,并提出让约 4% 的 token 保持全专家,从而几乎无损地降低 TTFT。

0 人收藏 0 人点赞
#llm-serving

通过自适应专家分配实现高效的CPU-GPU协同MoE推理

arXiv cs.AI ↗ · 2026-10-19 缓存

本文提出了Apex,一个CPU-GPU协同的MoE推理系统,该系统根据token负载自适应地将GPU未命中的专家分配到CPU或GPU上,相比最强基线,预填充速度提升最高达51.9%,解码吞吐量提升最高达39.5%。

0 人收藏 0 人点赞
#llm-serving

Intel LLM-Scaler-vLLM PV 1.5 带来重大改进

Reddit r/LocalLLaMA ↗ · 2026-10-16 缓存

英特尔发布了 LLM-Scaler-vLLM PV 1.5,这是其面向 Arc 显卡硬件的容器化 vLLM 技术栈的一次重大更新,将 vLLM 从 0.14 版升级至 0.26 版,新增了对 Qwen 和 Gemma 模型的支持、FP8/INT4 量化功能,并提升了性能。

0 人收藏 0 人点赞
#llm-serving

ModelSphere 作为面向混合 GPU 集群的开源大语言模型部署平台正式推出

Reddit r/artificial ↗ · 2026-10-16

Phancy Group 和 RiseUnion 在 GitHub 上推出了 ModelSphere,这是一个采用 Apache 2.0 许可证的开源大语言模型部署平台,面向混合 GPU 集群中的生产环境推理服务,并集成了 Kubernetes、Helm、SGLang 和 vLLM。目前外界反馈尚处于早期阶段,其列出的自动扩缩容、共享 KV 缓存等功能仍是未经验证的项目方声明。

0 人收藏 0 人点赞
#llm-serving

@jerryjliu0:祝贺发布!!

X AI KOLs Timeline ↗ · 2026-10-16 缓存

Zakaria 介绍 overshoot:一款优化 AI 团队推理栈的软件,号称可将 GPU 成本减半且无质量损失,用户累计已节省超 500 万美元。Jerry Liu 转发祝贺其发布。

0 人收藏 0 人点赞
#llm-serving

AbridgeKV:将长推理压缩至学习得到的暂停词元的 KV 缓存中

arXiv cs.CL ↗ · 2026-10-16 缓存

AbridgeKV 训练模型,将已生成完毕的思维链文本块压缩到少量学习得到的暂停 token 的 KV 条目中,在仅使用完整 KV 预算四分之一的情况下,实现缓存缩小至原来的 1/3.5,并在满负载 H100 上将解码速度提升至 3.2 倍,且准确率无损。

0 人收藏 0 人点赞
#llm-serving

当 KV 缓存比 GPU 更慢:为上下文并行预填充扩展远程 KV 层级

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

该论文研究长上下文 LLM 服务中远程 KV 缓存层级的性能瓶颈,提出按并行 rank 分片 MLA KV 存储、异步加载等优化,将 p99 延迟从 83.32 秒降至 0.67 秒,并显著提升预填充吞吐。

0 人收藏 0 人点赞
#llm-serving

在回复生成中途将模型各层在 GPU 之间迁移(8 毫秒,无需重新预填充)

Reddit r/LocalLLaMA ↗ · 2026-10-14

开发者展示开源推理引擎 jitllm,借助 JIT 内核生成与分页 KV 缓存,可在推理过程中把 Llama-3.2 模型各层在不同 GPU/CPU 之间动态迁移(最短 8 毫秒暂停、无需重预填充)。

0 人收藏 0 人点赞
#llm-serving

与其干等 M5 Ultra 512 GB:把新的 M5 Ultra 256 GB 与我的 M3 Ultra 512 GB 配对,实现分离式 prefill/decode(GLM-5.3-Flash、MLX、Thunderbolt 5 RDMA)

Reddit r/LocalLLaMA ↗ · 2026-10-13

一篇详细的技术文章,介绍把 M5 Ultra 256 GB 用于 prefill、M3 Ultra 512 GB 用于 decode 的配对方案:在 MLX 上运行 GLM-5.3-Flash,通过 Thunderbolt 5 RDMA 做分离式推理,将长 prompt 的首 token 延迟从约 40 秒降到约 18.5 秒。

0 人收藏 0 人点赞
#llm-serving

Flama:历时 8 年打造将机器学习模型和大语言模型视为一等公民的 Python 框架,现已在 arXiv 上发表论文 [P]

Reddit r/MachineLearning ↗ · 2026-10-13

作者介绍了 Flama——一个将机器学习模型和大语言模型视为一等公民的 Python 框架。八年来,它从模型部署发展到在 2.0 版本中支持大语言模型,作者还与 Miguel Durán-Olivencia 一起将整体架构写成了一篇 83 页的 arXiv 论文。模型被打包为单个 .flm 文件,支持 vLLM/MLX 后端以及 OpenAI、Anthropic、Ollama 等多种协议。

0 人收藏 0 人点赞
#llm-serving

讲座:从零构建 GPU 编译器。通过多层中间表示将 PyTorch 计算图降级转换为 CUDA(GPU_MODE 视频 + 文章)

Reddit r/LocalLLaMA ↗ · 2026-10-12

作者从零构建了一个 GPU 编译器 emmy,展示如何通过多级中间表示(IR)将 PyTorch 计算图逐步 lowering 为 CUDA 内核,并发布了讲座视频、文章和开源代码。在多个基准测试中其生成的内核超越 Torch Inductor 和 cuBLAS,且支持 vLLM 端到端模型推理服务。

0 人收藏 0 人点赞
#llm-serving

KV-Repurpose:用于评估非前缀 KV 缓存复用的测试平台

arXiv cs.CL ↗ · 2026-10-12 缓存

本文提出 KV-Repurpose,一个基于 vLLM 的开源测试平台,用于评估超越精确前缀匹配的分段 KV 缓存复用;在服从 Zipf 分布的检索增强生成(RAG)负载下,其词元级缓存命中率达到 63.9%,远高于前缀缓存的 3.3%,并显著降低首词元生成时间(TTFT)。

0 人收藏 0 人点赞
#llm-serving

@rohanpaul_ai:清华大学的新论文构建了 TokenRouter,这是一个推理服务系统,可逐 token 在小模型和大模型之间进行路由,最高可达 64.15…

X AI KOLs Timeline ↗ · 2026-10-10 缓存

清华团队发表 TokenRouter 论文,提出一种按 token 级别在大小模型间路由的 LLM 服务系统,通过独立服务器协作与 KV cache 传递,在 5 种路由方法上实现相比现有最强框架 2.01 到 64.15 倍的吞吐提升。

0 人收藏 0 人点赞
#llm-serving

PR 已合并:vllm 新增 `/v1/systemone` 支持

Reddit r/LocalLLaMA ↗ · 2026-10-10 缓存

vLLM 已合并对 `/v1/systemone` 的支持,这是其开源 LLM 推理与服务库的最新功能更新。

0 人收藏 0 人点赞
#llm-serving

RaReCache:通过基于秩分歧的选择性重计算弥合跨模型 KV 缓存复用的鸿沟

arXiv cs.AI ↗ · 2026-10-09 缓存

RaReCache 提出一种基于秩分歧(rank disagreement)的选择性重计算框架,使大型模型能够直接复用小型模型预填充的 KV 缓存,在大幅缩小参数差距的同时保留 95-99% 的目标精度,并实现最高 3.04 倍的预填充加速。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈