inference-efficiency

提出Uncertainty-Aware Allocation (UAA)框架，通过兄弟节点语义分散度估计不确定性来动态分配LLM树搜索的每步扩展预算，在保持精度的同时将token使用量减少最多90%、延迟降低最多9倍，且可跨四种树搜索算法和开源/闭源模型泛化。

TokenGate 是一个轻量级可学习的 token 剪枝模块，通过 token-gated attention 机制在长上下文预填充阶段跳过不重要的 token，实现 1.4–11.3 倍的 TTFT 加速和 1.5–3.4 倍的峰值内存降低且无精度损失。

MemT-1.0 introduces a memory-native architecture that embeds continuous memory directly into foundation model computation, achieving ~1.86x inference speedup and 66x storage reduction at 128K history versus full-context KV cache, while improving agentic task success. The release includes the MemT-1.0-Nano and MemT-1.0-Flash model family.

该推文猜测即将发布的 Qwen 4 系列模型是否会减少思考（thinking）token 的消耗，作者认为在保持或提升智能的同时少思考是最大的升级方向。

VLA-Rolling is a lightweight inference framework that reuses discarded action tails from flow-matching VLA models with adaptive denoising budgets, achieving up to 1.48x speedup and up to 15.08 percentage-point success rate gains across 16 model-benchmark pairs on LIBERO, MetaWorld, LIBERO-Plus, and RoboTwin 2.0.

Neuralwatt 分析一个月云端流量发现，agent harness 如何构建 prompt 决定了大量 GPU 计算量：缓存命中率差异导致未缓存输入在 1.6% 到 11.1% 之间，一次缓存失效大致会让请求能耗翻倍，且这些问题多数可通过避免编辑已发送内容来修复。

论文提出了一种混合生成-标注解码架构，将源文本跨度标注与开放生成相结合，用于电商产品的属性-值抽取。该方法在 vLLM 推理中将属性覆盖率提升 10%、正确属性-值对提取量增加 63%，同时延迟降低 44% 且不损失精确率。

AbridgeKV trains models to compress completed blocks of generated chain-of-thought text into the KV entries of a few learned pause tokens, achieving a 3.5× smaller cache and 3.2× faster decoding on a saturated H100 with no accuracy loss at a quarter of the full KV budget.

LEV 是一种通过循环重跑层而非生成文本来实现可变推理深度的决策模型，在相同权重下随深度提升准确率，并通过按需深度机制节省 15%-24% 计算量，在低延迟下显著优于同等规模的稠密模型。

John Ternus congratulates the team on efficiently running Muse Spark Open, a large model, on Mac Studio, highlighting advances in on-device AI performance.

提出训练无关的解码算法 One Block Ahead (OBA)，在块扩散语言模型中并发去噪当前块与下一块并传递采样器状态，在 DiffusionGemma 上将每次前向传递的 token 数提升 42.3%、单请求吞吐提升 16.3%。

论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并设计免gather的索引注意力核，在128K上下文下实现最高6.43倍解码吞吐提升，同时保持接近全KV的精度。

提出一种免重训练的方法，将预训练 Transformer 转化为可弹性伸缩的模型，通过联合排序并软剪枝单个 MLP 神经元和注意力头，在多种稀疏度目标下连续自适应计算预算，在 27 个视觉与文本 Transformer 编码器上实现最高 60% 稀疏度下的平滑性能衰减。

论文提出 Latent Compaction，通过测试时训练将 KV 缓存压缩为紧凑的文档特定表示，在冻结模型权重的前提下实现 32 倍压缩下 96.7% 的 RULER 准确率，显著优于 KVZip+ 等基线，并可跨模型规模与系列迁移。

ScaleDown 推出 1M-token 多模态 Constrained Decoding Models (CDMs)，支持文本与图像输入，用于分类、抽取和摘要任务，通过一次读取输入直接定位答案而非逐 token 生成，声称比前沿 LLM API 快 200 倍、便宜 467 倍。

DiffDiffusion提出一种受扩散模型启发的LLM框架，通过预测编辑路径而非重新生成整个代码段来实现高效代码编辑，在公共基准上比自回归基线快2.78倍，并在生产环境中将P50模型延迟降低39.0%。

VideoJev提出System One范式的视频理解与交互模型家族，通过共享打分头替代自回归解码，统一时序定位与视频问答，并利用缓存和联合推理大幅提升效率。VideoJev-4B和VideoJev-35B-A3B在时序定位基准上显著超越骨干模型，视频问答推理加速超过100倍。

DoubtLess 提出一种免训练的对比解码方法，用一个更小的推理模型引导大模型输出更简洁的思维链，在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变，优于五个推理时基线。

Subquadratic 发布 SubQ Snap，号称首个面向企业级真实工作负载的长上下文决策模型，在 Hugging Face Decision Index 上取得 61.6/61.7 的成绩，超过 Jev 的 57.9，且声称每 token 计算量不随上下文增长而增加。

论文提出 RAMP（Recurrent Adaptive Mixed Precision），通过分析量化误差在循环深度上的传播规律，将低精度计算置于早期循环步骤、终端步骤恢复全精度，从而在保持循环深度语言模型长上下文预填充质量的同时，在 H100 上实现最高 1.16× 的端到端首填充加速（13.9% 延迟降低）。