标签
论文提出Latent Sparse Attention（LSA），通过在潜空间中对Key做层级聚类，使Query只需对聚类中心打分，从而在10M超长上下文下将Qwen3.8-27B单层注意力Prefill加速72.4倍、Decode加速42.5倍，端到端首token延迟降至约1/9，且精度基本不掉。方法包含可蒸馏的D-LSA与原生训练的N-LSA两种变体，代码与蒸馏权重已开源。
Meta 的 DecisionRank 论文提出了项目空间中的同策略蒸馏方法，将生成式大语言模型教师的排序知识迁移到单令牌决策模型重排序器中，在 TREC DL、BEIR 和 BRIGHT 上取得了最先进的结果，同时运行速度最高可达对应生成式模型的 24.5 倍，并以仅 17 亿参数超越了其 270 亿参数的教师模型。
该论文提出了两种基于核的插值型 KV 缓存压缩方法 GAIM 和 Q-DAIM，以及相应的线性时间替代变体和流式注意力扩展，在 LongBench-E 上取得了与最先进方法相当的性能。
Glance 使用轻量级决策适配器和指针头，将重排序与生成整合到单个 9B 参数的骨干模型中，通过共享的预填充过程对段落进行评分，在降低内存开销的同时，在 MS MARCO 基准测试和 HotpotQA 答案 F1 分数上超越了 bge-reranker-v2-m3 和交叉编码器。
GS-MoE 介绍了一种免训练的 MoE 压缩框架，通过分组子空间共享（低秩）与基于 Nyström 的神经元剪枝两条压缩轴同时削减专家参数；在 DeepSeek-MoE-16B-Base 上以 60% 参数压缩保留约 90% 的推理性能，优于 D2-MoE 的 73%。
GLOW-FM 是一个单步潜在流匹配框架，用于高效的生成式低光图像增强。它在冻结的 Tiny-VAE 潜在空间中执行条件传输，并通过末速度匹配（Terminal Velocity Matching）仅用一次函数评估即实现 SOTA 的跨数据集泛化能力，计算量仅为 34 GFLOPs。
麻省总医院布莱根医疗系统（Mass General Brigham）的研究人员发布了 Clinical System One（CS1-4B），这是一个拥有 40 亿参数的决策模型，能够对临床记录进行快速的类型化判断。在 14 项任务中的 13 项上，它超越了参数规模最高达 270 亿的开源决策模型，且仅需在单台桌面级 GPU 上运行。配合通用 LLM 智能体使用时，该模型可支持纵向病历审查和临床试验筛选，同时将 token 消耗降低至原来的 1/690。
该论文提出一个 141M 参数的编码器式 PII 检测模型，使用来自 77 个公共数据集、按统一上下文检测标准重新标注的 112 万条样本训练，在 AI4Privacy 和 Nemotron-PII 基准上以更低的 GPU 内存和 2–10 倍吞吐量取得领先召回率。
对 Nemotron 3.5 Bolt 的上手评测，介绍其高效的 KV 缓存、2-bit/NVFP4 量化以及 Mamba2 混合注意力机制，这些特性使其在有限硬件上非常适合小型多用户场景，尽管以当前标准来看其智能水平只能算一般。
本文提出了一种LLM Agent架构HybridAgents，它通过轻量级的HybridLink在潜空间推理与文本驱动的行动之间动态切换，并结合HybridSFT与HybridRL后训练，在11个基准测试上实现了10.4%的性能提升，同时显著降低了token消耗、延迟和成本。
NVIDIA 发布 Nemotron Labs Dory1.0-4B-BF16，一款 4B 参数的循环式（latent-recurrent）大语言模型，采用 normalized-GPT 架构与滑窗/全注意力混合层，支持弹性推理计算与最后一次循环 KV 缓存，并原生支持 NVFP4 预训练，采用 OpenMDW-1.1 开放许可。
提出选择安全的共形提前退出方法，通过终端路径分数与单一分割共形分位数校准，在数据依赖的自适应深度选择下仍保持无分布假设的覆盖保证，无需 α/L 修正，并在 CIFAR-100/ImageNet 等任务上验证了路径选择相比朴素逐层选择的覆盖优势。
这篇论文提出将注意力的指数核展开为 n 项截断泰勒级数，并将每项分解为张量幂内积，从而用固定数量的循环状态实现线性时间 Transformer，实测在长上下文下相比 softmax 注意力有显著加速和常数解码延迟。
AgriJev 将 Qwen3.5 系列（0.8B–9B）适配为农业领域的候选评分模型，通过单次前向传播直接输出候选分数与相对概率；AgriJev-9B 在 17 个外部测试视图上达到 75.44% 平均准确率，且评分延迟约为同规模答案生成的一半。
该论文提出了一种名为“共形自适应”（Conformal Adaptation）的框架，通过共形风险控制在低分辨率下认证预测信号，再对已认证区域进行精细化计算，从而在 3D 医学图像分割、星系流量预测和钙信号预测等任务上实现 2.5–72 倍的墙钟时间加速，同时保留不确定性估计。
MJev-Spatial 提出一种 System 1 多模态决策模型，将空间推理任务统一为单次前向的分类框架，利用预训练的 query/key 投影为候选选项打分，在 12 项基准中以 65.64% 取得最高总分，并比自回归基线快 2.5 至 5.6 倍。
ReaDy 提出了一种推测性解码方法，利用混合线性注意力的循环状态作为草稿生成的动态上下文，在 NVIDIA B200 上使用 Qwen3.8-27B 实现了 3.16 倍的解码加速，相比 DSpark 在七个基准测试上均提升了吞吐量和接受长度。
Liquid AI 发布 LFM2.5-24B-A2B，一个 24B 总参数、仅 2B 激活参数的推理型 MoE 模型，专为在本地设备上运行快速、私密的智能体而设计，在工具使用和智能体任务上可与参数量多约 50% 的模型竞争。
介绍 Looped Diffusion Transformer 论文：通过在每个去噪步骤内重复运行共享的 transformer 块，并结合深度监督和自调制注意力，使 260M 模型以 4.9 倍更少的推理计算超越 6.5 倍大的模型，且循环深度可在采样时调节；作者还用 MIT 开源权重在 M5 Pro 上实测了不同深度的效果。
该论文提出了预测状态流（Predictive-State Flows，PSF），这是一种连续扩散语言模型设计，其中整流流先验生成块级预测状态，块因果解码器并行生成词元，从而显著减少扩散状态和串行深度，同时相较于 ELF-B 等模型提升了效率和生成质量。