标签
Janas 是一个开源工具,通过从 SSD 流式加载专家模型(mixture-of-experts),让内存小于模型体积的笔记本也能运行 LLM。在 32GB 内存的笔记本上,Qwen3-Next-80B(48GB)推理速度达 37 tok/s,显著超越 llama.cpp 的 2.8 tok/s。
PyTorch Conference North America(圣何塞,10月20-21日)将迎来 IBM Research 的 Carlos Costa,他是 llm-d 的联合创始人,将分享 llm-d 项目在生成式 AI 服务方面实现最先进的性能的最新进展,包括多租户 QoS 和零停机运维能力。
strata-mlx 更新:中断的长对话不再重读,10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒(M4 Max),并优化了 32 GB Mac 的内存管理,避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎,吞吐量显著优于 llama.cpp 和 LM Studio。
PreSTO 提出一种预测性子树预取方法来加速 PowerMH 功率采样器,通过批量预取未来的 MH 提案并保持转移核不变,在七个数据集和五个大语言模型上实现了 1.71×–2.33× 的中位加速。
提出DCOCO(DFlash上下文校正器),一种轻量级机制,在保持并行草稿生成的同时恢复块内上下文依赖,在四个验证器骨干和十个基准上实现最高达6.6倍的推理加速,并在并发服务场景下显著优于现有方法。
本文提出代数整数量化(AIQ)作为大语言模型推理的有损压缩格式,利用代数整数可实现无误差乘加运算的特性构建矩阵乘法引擎,在等比特预算下达到与业界标准 MX 格式竞争的精度。
DP-MIND 提出一种记忆引导的框架,将差分隐私推理扩展到百万 token 长上下文场景,通过在扰动输入上用强化学习优化记忆构建策略并结合本地去噪模块,在长上下文基准上优于现有 DP 与长上下文推理基线。
哈佛大学推出 CS2680《Modern AI Systems》课程,从 Claude Code、Agent Loop、评估与 Token 成本一路讲到模型部署、路由、KV Cache、量化和推测解码,作业围绕拆解并重建同一 Agent 系统展开。该课程面向从事 Agent、Harness 或 AI Infra 的开发者,覆盖从应用层到底层系统的完整链路。
一篇70分钟阅读量的深度技术长文,从第一性原理推导投机解码(speculative decoding),构建涵盖EAGLE-3、多token预测(MTP)以及块扩散drafters(DFlash、DSpark)的统一框架,并讨论drafter训练中最小化KL散度的问题。
Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现,面向 NVIDIA RTX 5090 Blackwell 硬件,支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。
一位自动化机构从业者逐项拆解4分钟语音外呼的真实成本(约39美分),指出平台费占一半、LLM仅占10%,并建议开启提示词缓存、裁剪工具返回结果,而非一味更换便宜模型。
一位爱好者分享了使用 vllm-ascend 在两张华为昇腾 310P 卡上以约 8–9 token/秒运行 3200 亿参数的 GLM-5.3-Flash MoE 模型的进展,包括模块热替换、利用 YaRN 实现 100 万 token 上下文,以及一种将权重从 CUDA GPU 卸载到昇腾卡上的混合式“昇腾辅助卡”构想。
这篇帖子通俗解释了投机解码(Speculative Decoding)的工作原理——草稿模型预测、目标模型并行验证并以概率方式接受或纠正——并介绍了开源引擎 Uzu,它在 Apple Silicon 上结合并行起草、连贯草稿路径与免回滚验证,使 4-bit Qwen3.5 9B 的推理速度从 llama.cpp 的 22 tokens/s 提升到 92–117 tokens/s。
llama.cpp 项目介绍:一个以 C/C++ 实现的轻量级 LLM/VLM 推理引擎,支持多种硬件后端,可在从服务器到树莓派等各类设备上运行,并提供命令行工具与 OpenAI 兼容的 API 服务。
LemonSeed Studio 是一款 iPad IDE,通过将未经修改的 Linux amdgpu/amdkfd 驱动嵌入为 PCIDriverKit 扩展,驱动 Thunderbolt 外接 AMD GPU 进行设备端 LLM 推理。
一位用户分享了为 10 人初创公司搭建的 4x AMD Radeon R9700 AI Pro 工作站(总显存 128GB,Threadripper 9970x),用于部署 Qwen 3.8 Next Flash/27B 和 DSV4 Flash 模型,在 16 个并发会话下报告了强劲的聚合预填充/解码吞吐量。
yibie 发布了 strata-mlx,这是一款面向 Mac 的非官方 MLX 推理引擎,可从 Strata 的 GGUF 文件运行 125B MoE 模型 Qwen3.8-Flash-Next,生成速度达到 llama.cpp 的 1.7–2.9 倍,并支持内存较小的 Mac 将专家卸载到 SSD。
一篇技术博客深入解释了投机解码为什么快:并非因为总FLOPs减少(实际上反而增加),而是因为它改变了GPU的工作类型——在低批量场景下把原本空闲的算力从内存瓶颈(memory-bound)转为计算瓶颈(compute-bound),用单序列的'深度'换取了批量解码的'广度'。
TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架,通过将 Java 编译为 CUDA 和 cuTile,在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。
IBM Research与UIUC的研究人员提出Universal Attention,一种自剪枝transformer框架。该框架将一阶与二阶key统计量结合为表达能力更强的遗忘门,在保留RoSoftmax注意力机制的同时,实现了最先进的10倍KV-Cache压缩,并在16k上下文长度下达到25倍压缩率。