标签
蚂蚁集团发布了Ling-3.0-flash，这是一个124B MoE模型，每个令牌5.1B活跃参数，256K上下文可扩展至1M，在大多数基准测试中匹配或超越其1T旗舰模型。
该论文提出了SWE-Pruner Pro，它利用编码代理自身的内部表示来剪枝无关的工具输出行，无需单独的剪枝模型即可将令牌使用量减少高达39%。
本文研究了蒸馏混合序列模型中对数似然与基于生成的评估之间的差异，表明仅凭困惑度可能具有误导性。本文介绍了GenDistill，一个将Transformer蒸馏为Hybrid-KDA模型的流水线，实现了高达75%的KV缓存减少和2-4倍的首次令牌生成时间加速，同时保留了教师模型86-90%的准确率。
提出循环隐注意力（LLA），一种训练后编解码器，通过利用递归步骤间的低秩结构压缩循环变压器中的KV缓存，在保持性能的同时实现显著压缩比。
OpenBMB发布了MiniCPM-RobotManip，这是一个1.5B参数的视觉-语言-动作模型，用于设备端机器人操控，通过高效的流式推理和长时视觉记忆，性能超越较大模型。
一位独立研究员引入了Wave Field注意力机制，用FFT波卷积替代了标准O(N²)点积注意力，实现了O(N log N)的训练效率和每token O(1)的推理效率。声称在128K上下文的CPU上达到80+ tok/s，并且在零样本性能上优于GPT-2 124M。
LiteTopK是一种用于长上下文稀疏注意力的融合索引器-top-k核，它利用维度灾难来减少内存流量并提高效率，在预填充阶段将GLM 5.2加速1.2倍。
GigaWorld-Policy-0.5 是一个用于机器人控制的增强版世界动作模型（WAM），通过混合动作条件世界建模（AC-WM）策略和混合变换器（Mixture-of-Transformers）架构提升训练与推理效率，在本地 RTX 4090 上实现 85 毫秒延迟。
PrismML宣布推出Bonsai 27B，这是Qwen3.6 27B的1位与三元量化版本，可在手机和笔记本电脑上运行，保留基线性能的90-95%，占用3.9GB空间，支持自主智能体与多模态的端侧AI。
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。
腾讯发布了Hy3，一个295B参数的MoE模型，每个token激活21B参数，在代理编程和工具使用任务上与更大的模型相竞争，并提供了Apache 2.0权重。
本文提出了一种针对具有适度非结构化稀疏性的大语言模型的高效GPU推理方法。引入了一种三层矩阵存储格式和一个联合利用稀疏张量核心与CUDA核心的SpMM内核，实现了相比SpInfer最高1.64倍的内核级加速，以及相比FlashLLM最高1.41倍的端到端加速。
Zane Chen 演示了 Colibri，它使用纯 C 语言和仅 CPU 推理，通过从磁盘流式传输专家，在配备 25GB 内存的笔记本电脑上运行 GLM-5.2 (744B MoE)。
MiniCPM-SALA是一款9B参数的混合注意力模型，通过在稀疏注意力和线性注意力之间交替插入（每3个线性层插入1个稀疏层）来克服长上下文Transformer的二次计算和KV缓存瓶颈。在256K tokens下，其推理速度比Qwen3-8B快3.5倍，并能在消费级GPU上支持高达1M tokens。该模型采用经济高效的持续训练方法，训练成本降低约75%。
腾讯发布了HiLS-Attention-7B，一个70亿参数的模型，采用新颖的块状稀疏注意力机制，端到端地学习块选择，从而实现高效的长上下文建模，并能在超过4倍训练长度的场景下进行强大的外推。
本文在率失真框架下统一了大语言模型和智能体中的内存压缩技术，提出了一个用于评估不同层压缩的分类法和基准。
SQuaD-SQL使用LLM引导的知识蒸馏训练小型语言模型进行Text-to-SQL，在WikiSQL上达到86.9%的执行准确率，同时提供更快的推理速度和更低的内存占用。
本文提出了一种针对视频扩散模型的后训练加速框架，将动态结构稀疏化与少步蒸馏相结合，在保持生成质量的同时实现了显著加速。
介绍了Jet-Long，一种用于长上下文扩展的零样本方法，该方法动态调整重缩放因子并使用双焦点注意力机制，无需重新训练即可在不同序列长度上实现高效高性能处理。
介绍了可变位宽量化（VBQ），一种训练时的方法，其中每组64个权重通过Gumbel-Softmax松弛学习自己的位宽（1、2、4、8）。VBQ发现了一种异构分配，实现了“更大但更小”的机制，例如，平均位宽1.82的1.31亿参数模型在TinyStories上的困惑度为4.2，击败了5500万FP16模型（困惑度4.4），同时存储减少3.8倍；而1.46B模型在FineWeb-Edu上与593M FP16控制模型表现相当，存储减少约3.7倍。