标签
该论文研究了扩散大语言模型作为投机解码草稿模型时的两个关键参数——扩散努力程度与接受准则宽松度——的联合变化，发现二者协同调整能够超越单步扩散草稿方法的速度-质量帕累托前沿。
一位用户分享了 @lamhot_ai 撰写的一份实用的 LLM 推理指南，介绍了推理的整体概况，并添加了批注，突出其中最重要的部分。
Cloudflare 披露了其 GLM-5.3 Workers AI 模型中的一项租户隔离缺陷：由于 SGLang 配置错误和程序缺陷，跨请求的 KV 缓存暴露导致在 155 次长上下文响应中泄露了其他用户的数据。目前该问题已修复，并对部署进行了安全加固。
SPECMEM提出了一种在部署期间持续维护的工具调用记忆系统，通过在线写回已验证的调用记录并配合LRU淘汰和副作用门控机制，在多会话多用户场景下实现最高1.74倍的墙钟加速，同时避免了不可逆操作的错误。
Dwarkesh Patel 分享了一套与导师 Will Michaels 共同制作的半导体制造闪卡，同时还提供了其他技术播客节目对应的闪卡以及一份精选的延伸阅读资源清单。
有用户询问，在双 RTX 3090（48GB 显存）基础上升级到 128GB DDR4 内存，是否能以较低量化精度运行 DeepSeek V4.1 和 GLM 5.3 Flash 等模型并达到约 20 tokens/s，还是必须更换 DDR5 平台。
开发者发布免费工具 ModelAnalysis.si，可跨 450+ 模型计算 API 调用与自托管（RunPod 租用 GPU）之间的成本盈亏平衡点，支持输入/输出 token 量与缓存命中率调节、VRAM 量化规格估算，以及基于实时定价和 ELO 排名的帕累托前沿分析。
该论文系统比较了 2:4 半结构化稀疏化与量化在 LLM 推理中的取舍，发现在仍有更低精度可用时，加入 2:4 稀疏化既更慢又更不准确；只有在达到硬件量化下限（如 FP8/NVFP4）后，2:4 稀疏化才展现出 1.3–1.7× 的线性层加速价值，且需通过重训练恢复质量。
一位业余研究者提出了一种推测解码方案：由 GPU 上的 2 位模型副本草拟 token，而系统内存中的完整残差（6–8 位）负责验证它们，两者仅通过 PCIe 交换激活值。初步测量表明，2 位模型加 8 位残差的质量优于 Q8_0，且这款 2 位草拟模型的接受率超过了 Gemma 4 的官方草拟模型。
Redis 推出了三项降低 AI 应用成本的能力：通过 LangCache 实现语义缓存、持久化智能体记忆，以及通过 Redis Flex 实现内存到 SSD 的存储分层。该内容由 @svpino 以赞助文章形式发布。
DStill 是一个两阶段轨迹一致性蒸馏框架，将块扩散投机解码中多步精修的 drafter 蒸馏为单步 drafting，在三个模型族上相较单步 DFlash 最高提升 28% 接受长度和 25% 加速，较自回归解码最高达 6.45 倍加速。
llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈，支持 vLLM、SGLang 等引擎，可在 GPU、TPU、XPU 等异构硬件上提供生产级服务，并宣称大幅提升吞吐量与降低 TTFT。
一位开发者发布了 open_rknpu2_lm_infer，这是一个用 Rust 和 C++ 编写、面向 Rockchip RK3588 NPU 的开源 LLM 推理引擎，它绕过了专有厂商库，运行 Qwen3.5-4B 的速度约为 Rockchip RKLLM SDK 的两倍，并支持多模态输入和投机解码。
将于10月20-21日在圣何塞举办的PyTorch北美大会将展出来自Moreh的Bongwoo Bak关于KV缓存块放置的海报，涵盖vLLM在GPU、CPU和共享存储之间的卸载策略。该推文还介绍了大会的注册等级和票价信息。
PyTorch 2.15 为 Mac 用户带来了 MPS 后端的重大改进，包括 FP8 支持、MoE 模型解码速度提升 5-6.5 倍、softmax 速度提升 8 倍，以及视频 VAE 解码内存占用的大幅降低。这些改进由 Hugging Face 的 PyTorch 团队和社区贡献者共同推动。
AWS 在 vLLM 中引入了基于推送的 NIXL 连接器，将 KV 缓存传输协调从分离式预填充-解码推理的关键路径上移开，在配备 EFA 的 EC2 P5en 实例上实现了最高 3 倍的 TTFT 提升和 30% 的 TPOT 优化。
llama.cpp 新增对 Cohere 系列模型的支持，继续扩展其 C/C++ 本地 LLM 推理框架的模型兼容性。
ATEST：面向大语言模型推理的自适应资源感知测试时缩放提出了一种资源感知的测试时缩放框架，联合考虑额外采样的预期价值与当前 GPU 成本，在 GPU 负载变化下动态决定采样何时停止，从而在满足能耗预算的同时保持准确率，并显著减少 GPU 时间与能耗。
我需要您提供实际的英文 Markdown 文章内容才能进行翻译。您目前提供的内容是中文摘要，而非需要翻译的英文原文。 请粘贴完整的英文 Markdown 文章，我将立即将其翻译为简体中文，并保留标题结构、列表、强调、行内代码和链接等格式。
一位爱好者构建了一套分布式推理系统，将两台游戏PC、一台M4 Pro MacBook和两台iPhone 17 Pro Max串联起来运行Qwen 3.8 Flash Next（一个48层、每层512专家的MoE模型），通过设备链上的流水线投机解码，在60k上下文下实现了37-39 tok/s的速度。