llm-serving

标签

Cards List
#llm-serving

GitHub - T-Crypt/halocline:稀疏 + 密集。Qwen4 系列在单张 RTX 4090 上运行(仅支持 sm_89)

Reddit r/LocalLLaMA ↗ · 昨天 缓存

Halocline 是一款开源(MIT 许可)的推理引擎,可在单张 RTX 4090(sm_89)上运行 Qwen 混合专家(MoE)模型和密集模型,提供稀疏与密集两种路径,在质量和速度上与 llama.cpp 及 NInfer 相比均具有竞争力。

0 人收藏 0 人点赞
#llm-serving

先优化玉米棒,再优化内核:面向生成式推荐推理的束搜索优化

arXiv cs.LG ↗ · 2天前 缓存

该论文提出了一套面向生成式推荐推理的整体优化流水线,利用树注意力(Tree Attention)及其他编译器级优化,消除冗余的 KV 缓存访问和主机端开销,无需定制内核,即可在昇腾 NPU 上将端到端延迟降至 vLLM 的最低 1/25。

0 人收藏 0 人点赞
#llm-serving

TPU 上支持负载均衡的全融合 MoE 推理内核

arXiv cs.LG ↗ · 5天前 缓存

Meta 超级智能实验室的研究人员推出了 Fuse-All MoE,这是一种融合式 Pallas TPU 内核,可协同优化 MoE 推理中的专家计算、输出通信和负载均衡。与 Megablox EP16 基线相比,该方法将推理服务吞吐量最高提升了 34.5%,将解码内核延迟最高降低了 21.3%,并显著改善了预填充阶段的负载均衡。

0 人收藏 0 人点赞
#llm-serving

Basalt 0.4.0:支持更多模型,速度依然不减——Qwen 27B 在 5090 上最高可达 770 token/秒

Reddit r/LocalLLaMA ↗ · 5天前

Basalt 0.4.0 新增多模型和路由器支持(DeepSeek V4.1 Flash)、视频和文件支持,以及首个稠密模型 Qwen 3.8 27B NVFP4,在 RTX 5090 上的结构化输出速度最高可达 776 tok/s,相较于 BF16 的 top-1 保真度为 92.8%。

0 人收藏 0 人点赞
#llm-serving

@baseten:我们用 Rust 和 CUDA 从零构建了一个 DeepSeek V4.1-Flash 推理引擎。4×B300:约 1,740 TPS 解码;8×B300:约…

X AI KOLs Following ↗ · 2026-11-13 缓存

Baseten 开源了一个用 Rust 和 CUDA 从零构建的 DeepSeek V4.1-Flash 推理引擎,在 4 张 B300 GPU 上达到约 1,740 TPS 解码速度,8 张 B300 上约 2,060 TPS,100 万 token 的预填充约需 12 秒。

0 人收藏 0 人点赞
#llm-serving

持续演进的基础设施:适应智能体的大规模大语言模型服务

Papers with Code Trending ↗ · 2026-11-09 缓存

提出 Evolving Infra,一种面向智能体工作负载的自适应大语言模型服务框架,解耦计算分配与 KV 缓存管理。实验显示,在 GLM-5.2 和 KimiK2.6 上,其端到端延迟及第 95 百分位首词元生成时间(P95 TTFT)较 NVIDIA Dynamo 最多分别降至原来的 1/4.1 和 1/14。

0 人收藏 0 人点赞
#llm-serving

@rohanpaul_ai:Cohere 新论文发现投机解码在细粒度 MoE 模型上即使 batch size 为 1 也效果良好,而先……

X AI KOLs Timeline ↗ · 2026-11-02 缓存

Cohere 的一篇新论文表明,投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能良好运行,因为相邻 token 共享 20%–45% 的专家(而此前预期仅为 4%–12%),使得验证成本远低于此前工作的预测。该研究在 H100 上测试了 10 个 MoE 模型。

0 人收藏 0 人点赞
#llm-serving

你应该知道:Strata 和 polystrata 有一项名为 answer_room 的功能

Reddit r/LocalLLaMA ↗ · 2026-11-02

一篇“你应该知道”(YSK)帖子揭露,Strata/PolyStrata 通过一项名为“answer_room”的功能,悄悄将模型的思考量限制在 max_tokens 的 75%,并以模型自身的口吻注入一条催促收尾的提示,却不向客户端返回任何错误、标记或结束原因。

0 人收藏 0 人点赞
#llm-serving

拥有太多 GPU 的律师,第 3 部分:在 2 台 DGX Spark + 一台老旧的 3090 主机上运行 DeepSeek-V4.1-Flash。上下文长度达 256K 时,预填充速度超过 2,600 tok/s,结构化输出速度达 322 tok/s,完整技术栈和原始数据均已公开

Reddit r/LocalLLaMA ↗ · 2026-10-31

一位律师兼 PLI Labs 创始人公布了完整的基准测试数据:在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017(2.75 bpw EXL3),并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型,在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度,结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开,作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。

0 人收藏 0 人点赞
#llm-serving

vLLM 的 nightly 版本现已支持 PLE 磁盘卸载

Reddit r/LocalLLaMA ↗ · 2026-10-30 缓存

vLLM 的每日构建版本现已支持 PLE 磁盘卸载,可在 LLM 推理服务中将 KV 缓存卸载至磁盘,缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。

0 人收藏 0 人点赞
#llm-serving

MAServeBench:面向层级协作工作负载的多智能体 LLM 服务系统基准测试

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

MAServeBench 是一个基准测试框架,将多智能体协作作为可配置的负载维度,用于评估 LLM 服务系统与 GPU/NPU 硬件性能;它通过层级化语义轨迹实现可复现的依赖追踪与任务级测量。

0 人收藏 0 人点赞
#llm-serving

构建能自我进化的推理系统(阅读约 20 分钟)

TLDR AI ↗ · 2026-10-29 缓存

Decagon 介绍了 AutoResearch 系统:由 AI agents 自动诊断推理瓶颈、在生产流量回放环境中验证优化(量化、调度、引擎补丁、投机解码等),报告端到端吞吐提升最高达 2.5x,且生产变更仍需人工审批。

0 人收藏 0 人点赞
#llm-serving

@_avichawla:DeepSeek 又做到了!他们刚刚开源了 DeepInfer,这是其缓存命中时能返回首个 to… 的推理技术栈

X AI KOLs Timeline ↗ · 2026-10-28 缓存

DeepSeek 开源了其推理技术栈 DeepInfer,通过 3FS 复用 SSD 上的 KV 缓存,借助 MLA 将 KV 缓存压缩 93% 的能力,实现首个 token 生成速度最高提升至 26 倍。

0 人收藏 0 人点赞
#llm-serving

上帝不掷骰子:在智能体内核生成中强制实现批次不变性

arXiv cs.AI ↗ · 2026-10-28 缓存

该预印本提出 BIEvolve,通过契约引导的静态依赖分析与跨批次数值一致性动态验证,为 LLM 内核生成代理加入批不变性(BI)保障,将 BI 通过率从 67.6% 提升至 91.9%,同时保留 91.8% 的基线加速收益。

0 人收藏 0 人点赞
#llm-serving

WAKMan:工作负载感知的 KV 缓存管理器

arXiv cs.AI ↗ · 2026-10-28 缓存

WAKMan 是一种面向 LLM 服务器的工作负载感知型 KV 缓存管理器,可根据实时流量自动选择缓存淘汰策略。在混合单轮、多轮及智能体请求的工作负载下,其缓存命中率比 vLLM 的 LRU 策略平均提高 5 个百分点。

0 人收藏 0 人点赞
#llm-serving

提升 NVIDIA DGX Spark 上 MoE 推理性能的 3 种方法

Reddit r/LocalLLaMA ↗ · 2026-10-28 缓存

NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家(MoE)模型推理的三种优化技术:Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化,以及基于 NEXTN 的多词元预测投机解码,并分析了组合配置下的集成问题。

0 人收藏 0 人点赞
#llm-serving

TAO:面向基于大语言模型的智能体服务的工具感知联合调度

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

TAO 提出一个工具感知的联合调度框架,用于基于大语言模型的智能体服务,通过动态规划在容量约束下选择和放置会话,相比最优基线最高降低 26.8% 的延迟、36.3% 的首词元生成时间,并提升 29.5% 的解码吞吐量。

0 人收藏 0 人点赞
#llm-serving

混合专家解码的通道选择无需校准数据

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

该论文表明,使用 top-k 选择代替经校准的阈值时,MoE 通道选择器无需离线校准数据;同时提出了一种由权重推导的读取器(三值草图 + 低秩映射),仅需读取 17.8% 的路由专家权重即可保持 98.1% 的准确率,并使 MoE 模块相较于优化后的 vLLM 实现 1.60–2.69 倍加速。

0 人收藏 0 人点赞
#llm-serving

修复vLLM中的工具调用准确率

Hacker News Top ↗ · 2026-10-26 缓存

Ubicloud介绍了vLLM新增的受限解码支持(vLLM 0.31中的服务端标志)如何修复工具调用schema准确率问题,将较新的Kimi和DeepSeek模型的合规率从vLLM 0.28时的92%提升至100%。

0 人收藏 0 人点赞
#llm-serving

NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)

Reddit r/LocalLLaMA ↗ · 2026-10-22

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈