标签
一份名为 time-to-first-token 的开源 LLM 工程师实战手册，以 10 周、50 堂课的路线图，从零构建可上生产的 OpenAI 兼容推理服务，涵盖 vLLM 源码、PagedAttention、监控、1000+ 并发压测与量化优化。
llama.cpp v0.7.0 发布，支持在 128GB Mac/Spark 配置上通过基于 MTP 的推测式解码运行 Qwen3.8-Flash-Next GGUF 模型，展示了高效的本地大模型服务能力。
一篇综述论文，将长上下文压缩重新定义为大语言模型的内存管理问题，并将提示词压缩、KV 缓存管理、检索增强和智能体记忆统一纳入一个采用预算约束成本模型的信息生命周期框架。
DLite提出一种无历史上下文的投机解码框架，通过复用目标模型的隐状态进行局部预测并省去历史KV缓存维护，在agentic工作负载下将接受长度提升至2-6，较SOTA方法DSpark提升最高70%。
苹果发布新版 MLX 框架，展示如何在单台 Mac Studio 上运行 Muse Spark Open（近万亿参数）等前沿模型，并通过 RDMA over Thunderbolt 驱动在多台 Mac 间实现分布式张量/流水线并行推理，在四台 M5 Ultra 集群上达到每秒 36 tokens 以上的解码速度。
一项社区基准测试评估了 21 种能在 16GB 显存内运行的 Qwen3.8 27B 模型/KV 量化组合（189 项基准测试），发现 q5_1/q5_1 通常是最优选择，而提高模型量化级别（q4_0/q4_0）优于在完整 f16 KV 缓存下使用更低的量化级别。
论文提出 REWIND，一种基于词元熵动态的免训练控制器，用于在测试时通过定点后缀重新生成来修复大语言模型的推理轨迹，在三个模型系列和五个基准上超越所有基线。
论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并设计免gather的索引注意力核，在128K上下文下实现最高6.43倍解码吞吐提升，同时保持接近全KV的精度。
论文提出了 Spectral-MoE，一种在将稠密模型转换为混合专家模型（MoE）时，为不同层动态分配专家利用率预算的方法，包括静态和动态两种分配器。该方法在 Llama-2-7B、Llama-3-8B 和 Qwen2.5-7B 上显著降低了困惑度并提升了下游任务准确率，确立了逐层专家利用率这一新的优化方向。
牛津大学的研究人员在七项基准测试和六种硬件平台上，直接测量了86个开放权重大语言模型检查点的推理能效，发现能力相近的模型之间存在显著的能耗差异，并主张在报告基准测试得分的同时，也应报告实测能耗。
提出PN-Mix，一种面向RoPE解码器LLM的混合精度键缓存量化方法，通过查询-键对范数识别显著通道对，在约2.26位平均精度下达到或超越现有方法在2.32–2.39位下的精度，且可优雅降级至1.5位。
ReaDy 提出了一种推测性解码方法，利用混合线性注意力的循环状态作为草稿生成的动态上下文，在 NVIDIA B200 上使用 Qwen3.8-27B 实现了 3.16 倍的解码加速，相比 DSpark 在七个基准测试上均提升了吞吐量和接受长度。
运行本地 LLM 的 RTX 3090 Founders Edition 用户可能正在把显存“烤熟”：基准测试显示，默认风扇和功耗曲线会让 GDDR6X 在开始生成 token 后的几秒内达到 112°C，远高于其 96°C 的持续运行额定温度。发帖者建议将显卡功耗限制在 270W，并将风扇转速设为 100%（或限制在 240W，风扇转速设为 70%），代价是吞吐量下降约 30%；他还指出，降压并无帮助，因为 Nvidia 只在功耗超过 300W 时应用时钟频率偏移。
该推文总结了优化 LLM 推理的 12 种 KV 缓存技术，包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等，帮助开发者根据具体瓶颈选择合适的组合。
介绍了约束解码模型（Constrained Decoding Models，CDMs），这是一类全新的AI模型架构（分类、抽取、摘要），跳过逐token生成过程，实现更快、更低成本的结果——相比前沿大模型API速度提升200倍、成本降低467倍，现已上线OpenRouter、Vercel、LiteLLM和LangChain。
SonicBoom v0.0.1 是一个原生 C++/CUDA 张量运行时，配备图编译器，在笔记本电脑的 RTX 3050 上，使用与 llama.cpp 相同的源自 ggml 的量化内核，实现了 52 tok/s 的解码速度，而 llama.cpp 为 45 tok/s，这表明如今的性能提升来自编译器层，而非手写内核。
Janas 是一个开源工具，通过从 SSD 流式加载专家模型（mixture-of-experts），让内存小于模型体积的笔记本也能运行 LLM。在 32GB 内存的笔记本上，Qwen3-Next-80B（48GB）推理速度达 37 tok/s，显著超越 llama.cpp 的 2.8 tok/s。
PyTorch Conference North America（圣何塞，10月20-21日）将迎来 IBM Research 的 Carlos Costa，他是 llm-d 的联合创始人，将分享 llm-d 项目在生成式 AI 服务方面实现最先进的性能的最新进展，包括多租户 QoS 和零停机运维能力。
strata-mlx 更新：中断的长对话不再重读，10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒（M4 Max），并优化了 32 GB Mac 的内存管理，避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎，吞吐量显著优于 llama.cpp 和 LM Studio。
PreSTO 提出一种预测性子树预取方法来加速 PowerMH 功率采样器，通过批量预取未来的 MH 提案并保持转移核不变，在七个数据集和五个大语言模型上实现了 1.71×–2.33× 的中位加速。