标签
该论文提出了 Muon-RT，这是 Muon 优化器的一种无动量变体，它复用大语言模型自蒸馏中 EMA 教师模型与学生模型之间的权重位移，无需单独的动量缓冲区，同时在 Qwen2.5-7B 和 Olmo-3-7B 上提高了准确率，并减少了训练期间的持久内存占用。
yeasah 制作的新版 Qwen3.8-27B EXL3 量化模型在同类竞品中实现了最低的 KLD（0.0002），同时模型权重仅需占用 18.8 GiB 显存，表现优于 Unsloth 和 turboderp 的量化版本。
论文提出了 Ori，一种受 Oja++ 启发的漂移感知流式 k-PCA 低秩优化器，用于 LLM 训练。它以极低的每步开销跟踪不断变化的主梯度方向，在 1B LLaMA 预训练中将与全秩优化器之间的性能差距最多缩小了 69.3%，并在 16 个 RoBERTa-Base 微调场景中的 10 个场景中取得了最佳性能。
本文提出了 COUNT（Counting Offline Unlocks N-gram Transformers），该方法利用存储在主机内存中的预计算计数来构建 N-gram 嵌入，无需可学习参数，从而改善了十亿参数级语言模型的验证损失，并实现了推理时的免训练领域适配。
该推文总结了优化 LLM 推理的 12 种 KV 缓存技术，包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等，帮助开发者根据具体瓶颈选择合适的组合。
curl 8.23.0 引入多项性能优化，包括 base64 编解码、URL 编解码、日期和数字解析提速，以及约 40% 的结构体内存缩减和更少的内存分配。
提出 FramePack-U，一种免训练的常量内存帧打包框架，可将任意长度视频压缩为固定大小的视觉表示，直接插入现成 VLM 推理，在 Long VideoBench、MLVU 和 Video-MME 上显著超越全分辨率基线及现有 token 压缩方法。
作者介绍了 ALHR（Adaptive Learnable Hierarchical Routing，自适应可学习分层路由），一种基于静态二叉树与可学习函数的稀疏注意力系统。在 MQAR 测试中，每个查询平均仅读取约 30 个键（相比之下稠密注意力需要读取 512 个），实现了约 35.3 倍的 KV 压缩，同时保持接近的准确率，并将推理复杂度降至 NlogN，显存占用线性扩展。
论文提出 LadderEdit，通过将每个 LoRA 编辑适配器压缩为低秩草图，并在草图无法满足重写、泛化和局部性要求时沿阶梯提升秩，实现 5.2 倍的存储节省，并在 50,000 次连续编辑上保持有效性。
Phase-HDC提出用梯度阈值取代Adam优化器的历史状态来训练超维分类器，在几乎不存储额外状态的情况下匹配Adam的精度，相比float32 Adam节省16-23倍存储，相比8位Adam节省4-6倍。
腾讯研究人员在 Hugging Face 上发布了 STEPQuant，一个针对 Delta-rule 循环状态的空间-时间后训练量化框架，仅用 6-bit 状态即可匹配 FP32 精度，并将服务内存最多削减 68.7%。
audio.cpp 带来多项运行时性能优化：Higgs Audio TTS 显存占用减少 48%（低于 6GB），HTDemucs 提速 2.2 倍，PocketTTS 在 CPU 上提速 2.2 倍，同时 WebUI 新增实验性的生成历史功能，目前支持 110+ 音频模型家族。
EncBank 扩展了 CoMem 的中间状态接口，将 LLM 的低层视为可复用的文档编码器，其紧凑的低比特输出可以在不同查询之间进行缓存和复用。在 Qwen 骨干模型上的评估表明，4 位存储的性能接近原生精度，同时将持久化存储减少至 28.1%，并且在预填充速度上有显著提升，但代价是精度有所下降。
该项目展示了一个拥有 2.78 万亿参数的模型，仅用 8GB 内存即可运行——采用纯 C99 编写的推理引擎，不依赖 BLAS、任何框架或 GPU，以速度换取极致的内存效率（8GB 内存下约 26.5 秒/token，128GB 以上约 5.6 秒/token）。
本文提出将残差量化（RQ）作为上下文赌博机的表示层，通过基于梯度提升的伪目标实现非线性奖励建模，并借助影子机制进行在线深度调整，在严格 O(1) 内存约束下运行。该方法在 13 个数据集中的 11 个上优于非 RQ 方案，同时在内存占用减少高达 1000 倍的情况下，仍能与 XGBoost 和神经网络基线相媲美。
HLA-WM 提出一种免训练的混合线性注意力框架，通过几何引导的检索与递归线性状态重组，缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上，该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。
苏黎世联邦理工学院（ETH Zurich）与微软的研究人员提出UnRL，一个不确定性感知的自适应3D建图框架。该框架利用语义熵、几何曲率和纹理丰富度对体素进行细化，并由一个强化学习智能体在用户指定的预算下控制内存与精度之间的权衡。
GEM-KMeans 提出了一种谱归一化、高内存效率的 K-means 聚类非线性回归（NLR）公式，将更新融合进单次矩阵乘法的收尾阶段（epilogue），使 GPU 高带宽存储只需保留一个因子，同时在超大规模数据上保持聚类精度。
该论文提出了Honeycomb——一种基于HexMemory的视频世界模型。HexMemory是一种低秩、固定尺寸的场景记忆，由六个空间与时空平面构成，在长时程视频生成过程中保持恒定的存储开销，同时在WorldScore和RealEstate10K基准上展现出优异的生成质量与重访一致性。
论文提出了 STEPQuant，一个面向线性注意力模型中 Delta 规则递归状态的时空训练后量化框架，在 6-bit 精度下达到接近 FP32 的准确率，实现超过 5 倍的状态压缩，并在集成到 SGLang 后最多可将服务内存降低 68.7%。