降低LLM延迟

Reddit r/AI_Agents 2026/07/03 08:24 工具

llm latency optimization inference performance

摘要

用于降低大语言模型延迟、提高推理速度的技术和方法。

暂无内容

查看原文

相似文章

arXiv cs.LG

本文介绍了HYMELL，一种混合分析与机器学习框架，用于估算LLM在预填充（prefill）和解码（decode）阶段的推理延迟与能耗，并在NVIDIA H100上进行了验证，对LLaMA 3 8B的误差低于5%。

arXiv cs.AI

LaCache 提出了一种针对扩散式LLM的无训练加速框架，利用无损缓存和精度自适应推理消除去噪步骤中的冗余计算，在保持任务精度的同时实现了高达40.2倍的端到端加速。

Reddit r/openclaw

关于在CPU上本地运行大语言模型性能的讨论，特别是大上下文尺寸的情况，以及显存限制带来的挑战。

arXiv cs.CL

提出MemDefrag，一个无需训练的框架，利用中间层追踪信号对大型语言模型中的潜在记忆进行碎片整理，在知识保留方面显著优于MemoryLLM和M+等现有方法。

arXiv cs.LG

本文提出了一种针对具有适度非结构化稀疏性的大语言模型的高效GPU推理方法。引入了一种三层矩阵存储格式和一个联合利用稀疏张量核心与CUDA核心的SpMM内核，实现了相比SpInfer最高1.64倍的内核级加速，以及相比FlashLLM最高1.41倍的端到端加速。