标签
团队发布了 Latent Sparse Attention（LSA，潜在稀疏注意力）这一开放研究成果，实现了亚二次复杂度的注意力机制，在超长上下文中达到与全注意力相当的准确率，使稀疏注意力最高提速 22.7 倍，全注意力最高提速 72.4 倍。
该论文研究了三种校准方法——HiGPTQ、HiAutoRound 和 HiFlatQuant——用于采用 HiFloat4 块浮点格式对大语言模型进行量化，将与 BF16 的精度差距缩小至 1% 以下，并在不同模型和任务上优于 NVFP4。
本文介绍了智能体软令牌压缩（Agentic Soft-Token Compression，ASTC），这是一种无需训练的方法，利用大语言模型原生的循环动态机制（GDN-attention），将智能体的长时程上下文压缩为软令牌，在注意力对数量最多减少 50.68% 的情况下，达到或超过未压缩时的准确率。
TraceSpec 是一个将 LLM 智能体轨迹评估与用于推测解码的自适应草稿模型训练相结合的框架，引入了 TraceSpec-Traj 语料库，并在多种模型规模下，相较于其 DSpark 基线将回放吞吐量提升了 12.5% 至 22.6%。
EDU-Jev 推出了一系列单次前向传播的“系统一”决策模型（0.8B/2B/4B），可针对教育评估任务输出固定选项的概率分布，在十二项基准测试中达到 67.6% 的平均准确率，比领先的商业决策 API 高出 9.4 个百分点。
ThinkJev 是一种无需训练的方法，基于单个混合思考开放模型构建快速（系统 1）和慢速（系统 2）作答路径，直接读取或在经过可变长度的思考后读取经过校准的选项概率，因此仅在统计上保证达到目标错误率所需时才付出思考成本。
论文提出条件交互框架，通过系统 1 轻量预测器筛选高价值交互，仅让系统 2 执行被接纳的候选，从而将执行计算成本降低至原来的 1/ρ_u，并主张用可通过密度衡量的 ρ_u 和信息性计算更好地描述扩展效率。
该论文提出了 Packed-SS，一种自投机解码调度方案。该方案让扩散起草器在验证当前草稿时，提前一次调用构建下一份草稿，从而在单次模型调用中完成验证与起草。其输入规模随投机宽度线性增长，并在 Nemotron 3B/8B 和 SetDLM 1.7B 上实现了更高的吞吐量。
论文提出 QViD，一种免训练的查询感知视觉 token 剪枝方法，通过发现查询-视觉交互矩阵的低秩结构并分解出主导潜在交互模式，在图像与视频理解基准上以相同 token 预算持续提升性能，尤其在高压缩率下增益显著。
提出了 RAQ-MLA，一种针对多头潜在注意力（MLA）缓存的角色感知量化方法，无需训练即可将 MLA 缓存压缩至约 2.5 比特，在四个 MLA 模型上的推理与编码任务中几乎无损。
TraceQuery 是一个轻量级稀疏解码框架，通过全去噪轨迹监督预测需要重新计算的少量位置，为扩散大语言模型（dLLM）推理提供最优的质量-计算权衡。
论文提出 S-SALAAD 框架，在训练中联合学习模型权重及其低秩与结构化稀疏分量，配合预算感知压缩和专用 CPU/GPU 内核，将单个检查点的弹性压缩性转化为更低的内存占用与推理延迟，适用于边缘设备部署。
该论文研究全模态大模型（Omni-LLM）的推理效率问题，提出按查询自适应选择模态的方法，将问题形式化为准确率-成本优化，并通过成本敏感学习实现在匹配或超越全模态准确率的同时大幅降低 token、延迟与金钱成本。
LOWN 为扩散视觉语言模型引入了证书引导的视觉路由机制：当仅基于文本的预测与基于图像条件的预测一致时，跳过图像处理，在十个基准上以 35.3% 的解码 FLOPs 保留了 LLaDA-V 99.6% 的性能分数。
ThinkBit 是一个严格标量的两比特量化框架，通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上，它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。
该论文研究了推测解码中目标模型概率的复用问题，提出在树分配前利用目标概率进行重排序和首词采样，可在小树预算下提升期望接受率并加快解码速度。
本文表明，重新生成目标模型的回答会缩小知识蒸馏等草稿模型训练目标在推测解码中带来的收益，并通过多项对照实验，在视觉语言（Qwen3-VL-8B）和纯文本（Qwen3-4B）场景中复现了这一发现。
PACE 是一种免微调的后训练四比特量化器，用于线性注意力的循环状态。它通过降低量化频率（每隔几个 token 才进行一次舍入）并采用按列共享的量化尺度来减少误差，从而在 4B–35B 参数的混合模型上，以约三分之二的内存达到与八比特 DAMP 相当的性能。
论文提出了 Lafa，一个 8B 参数的分块连续流语言模型，仅使用不到 30B tokens 训练，其质量即可匹配甚至超越自回归模型，并通过自推测解码（self-speculative decoding）与分块并行解码实现了 2.54 倍的推理吞吐量。
MiniMax 发布 MiniMax M3.1 Flash，作为新一代 Flash 模型，在 agentic 任务、编码、Computer Use 与网络安全方面实现全面跃升，在线推理速度提升近三倍，使用成本降低 70%，输入/输出定价为每百万 token $0.15 / $0.60。