Tag
提出DCOCO（DFlash Contextual Corrector），一种轻量级机制，在保持并行草稿生成的同时恢复块内上下文依赖，在四个验证器骨干和十个基准上实现最高达6.6倍的推理加速，并在并发服务场景下显著优于现有方法。
本文提出代数整数量化（AIQ）作为大语言模型推理的有损压缩格式，利用代数整数可实现无误差乘加运算的特性构建矩阵乘法引擎，在等比特预算下达到与业界标准 MX 格式竞争的精度。
DP-MIND 提出一种记忆引导的框架，将差分隐私推理扩展到百万 token 长上下文场景，通过在扰动输入上用强化学习优化记忆构建策略并结合本地去噪模块，在长上下文基准上优于现有 DP 与长上下文推理基线。
哈佛大学推出 CS2680《Modern AI Systems》课程，从 Claude Code、Agent Loop、评估与 Token 成本一路讲到模型部署、路由、KV Cache、量化和推测解码，作业围绕拆解并重建同一 Agent 系统展开。该课程面向从事 Agent、Harness 或 AI Infra 的开发者，覆盖从应用层到底层系统的完整链路。
一篇70分钟阅读量的深度技术长文，从第一性原理推导投机解码（speculative decoding），构建涵盖EAGLE-3、多token预测（MTP）以及块扩散drafters（DFlash、DSpark）的统一框架，并讨论drafter训练中最小化KL散度的问题。
Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现，面向 NVIDIA RTX 5090 Blackwell 硬件，支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。
一位自动化机构从业者逐项拆解4分钟语音外呼的真实成本（约39美分），指出平台费占一半、LLM仅占10%，并建议开启prompt caching、裁剪工具返回结果而非一味换便宜模型。
A hobbyist reports progress running the 320B-parameter GLM-5.3-Flash MoE model at ~8-9 tok/s on dual Huawei Ascend 310P cards using vllm-ascend, including hot-swapping modules, YaRN for 1M context, and a hybrid 'Ascend Sidecard' idea to offload weights from CUDA GPUs to Ascend cards.
这篇帖子通俗解释了投机解码（Speculative Decoding）的工作原理——草稿模型预测、目标模型并行验证并以概率方式接受或纠正——并介绍了开源引擎 Uzu，它在 Apple Silicon 上结合并行起草、连贯草稿路径与免回滚验证，使 4-bit Qwen3.5 9B 的推理速度从 llama.cpp 的 22 tokens/s 提升到 92–117 tokens/s。
llama.cpp 项目介绍：一个以 C/C++ 实现的轻量级 LLM/VLM 推理引擎，支持多种硬件后端，可在从服务器到树莓派等各类设备上运行，并提供命令行工具与 OpenAI 兼容的 API 服务。
LemonSeed Studio 是一款 iPad IDE，通过将未经修改的 Linux amdgpu/amdkfd 驱动嵌入为 PCIDriverKit 扩展，驱动 Thunderbolt 外接 AMD GPU 进行设备端 LLM 推理。
A user shares a 4x AMD Radeon R9700 AI Pro workstation build (128GB total VRAM, Threadripper 9970x) serving Qwen 3.8 Next Flash/27B and DSV4 Flash for a 10-person startup, reporting strong aggregate prefill/decode throughput across 16 concurrent sessions.
yibie announces strata-mlx, an unofficial MLX-based inference engine for Mac that runs the 125B MoE model Qwen3.8-Flash-Next from Strata's GGUF files, achieving 1.7–2.9x faster generation than llama.cpp and enabling lower-RAM Macs to offload experts to SSD.
一篇技术博客深入解释了投机解码为什么快：并非因为总FLOPs减少（实际上反而增加），而是因为它改变了GPU的工作类型——在低批量场景下把原本空闲的算力从内存瓶颈（memory-bound）转为计算瓶颈（compute-bound），用单序列的'深度'换取了批量解码的'广度'。
TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架，通过将 Java 编译为 CUDA 和 cuTile，在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。
IBM Research and UIUC researchers propose Universal Attention, a self-pruning transformer framework combining first- and second-order key statistics into expressive forget gates that preserve RoPE and Softmax attention while achieving state-of-the-art 10x KV-cache compression and 25x compression at 16k context length.
The paper introduces KVFetch, a training-free framework that adds a temporal recall channel to score-based KV cache compressors to fix "sequential forgetting" (verbatim copying breaking under compression), recovering copying performance from 0.8 to 78.4 and boosting the RULER-16K average by +8.4 at iso-budget.
EncBank extends CoMem's intermediate-state interface, treating an LLM's lower layers as a reusable document encoder whose compact low-bit outputs can be cached and reused across queries. Evaluated on Qwen backbones, 4-bit storage nearly matches native precision while cutting persistent storage to 28.1%, with notable prefill speedups at some accuracy cost.
提出了SparseDecoding，一种面向解码阶段的训练无关剪枝框架，通过在自回归生成时收集校准数据对齐Hessian分布，并开发优化的N:M稀疏矩阵向量核，在A100上实现最高1.48倍端到端解码加速。
DScout 通过将扩散草稿器的训练与推理分解为前缀接受度和延迟权衡，提升了推测解码的吞吐量，在 Qwen3-4B 和 Qwen3-8B 上分别实现 3.84 倍和 4.14 倍的平均加速。