标签
来自初创公司Mostik的俄罗斯数学家开发了一种方法，使AI模型能够通过其权重进行通信，从而提高效率和性能，并在GLM-5.2和Qwen-3.5模型中得到演示。
文章阐释了人工智能模型中混合专家模型与N-gram技术的架构差异，重点介绍了Qwen新模型如何利用N-gram技术卸载参数，通过分离推理和回忆任务来提升效率。
This paper introduces a method to predict middle-layer attention in multimodal LLMs to prune visual tokens efficiently, using question-contrastive teacher selection and cross-modal attention distillation.
作者在Deepseek V4 Flash发布后分析了模型规模与性能的趋势，指出开源模型在体积缩小的同时性能不断提升，并预测一年内Opus 4.5级别的模型有望在消费级笔记本上运行。
DeepSeek V4 Flash 的体量比 GLM 5.2 小约 70%，但性能却更胜一筹，这意味着达到最先进水平的 AI 可能比预期更早地在 RTX 5090 等消费级硬件上运行。
一位Reddit用户询问DeepSeek如何让一个300B参数的模型比9B参数的模型更便宜，引发了关于效率和成本的讨论。
提出了CPU解码速度取决于每个token的活跃参数而非总参数的见解，并提出一个使用三元权重和细粒度MoE的10B参数模型，以在中等配置PC上实现高token速率。报告了沙箱测量结果，显示在8.3M模型上速度从176 tok/s提升到848 tok/s，且质量损失极小。
该文认为，AI模型效率提升如此之快，以至于维持固定智能水平所需的硬件成本大约每3个月减半，这使得租赁前沿智能或拥有落后硬件比购买新硬件更经济。
探讨一个35B参数模型是否能够通过在测试时扩展其搜索视界来超越1000B模型，使用结构化过程反馈而非蛮力参数扩展。
本文介绍了字节精确的KV缓存嫁接，一种通过将验证知识作为字节精确的状态工件存储并在推理过程中恢复，从而使冻结的小型语言模型既更强大又更廉价的技术，在不改变权重的情况下实现了显著的token和能耗降低。
本研究引入了针对推理轨迹的章节感知压缩，训练模型舍弃填充性叙述，同时保留计算和验证片段，在比原始推理少用2-3倍词元的情况下，达到或超越原始准确率。
本文介绍了PadCaptioner，一个3B参数的全模态密集视频字幕模型，采用并行自回归解码实现高效率和高品质，性能超越7B参数模型。通过利用事件间的弱局部依赖关系，潜在规划机制实现了无损并行生成。
一篇新帖子强调了扩散LLM的一个缺点：双向注意力机制导致键值跨步骤漂移，破坏了KV缓存。不过，生成质量对轻微的KV漂移具有鲁棒性，研究重点已放在最大化陈旧KV重用而不导致质量下降上。
本文系统研究了 Transformer 中 QKV 投影共享的各种变体，发现共享键和值投影（Q-K=V）可在仅造成 3.1% 困惑度下降的情况下实现 50% 的 KV 缓存压缩，结合 GQA/MQA 最高可达 96.9% 的缓存压缩率——以极小的质量损失实现实用的端侧推理。
Complexity-Balanced Splitting (CBS) 使用局部复杂度度量将扩散时间线划分为近似负担相等的段，在不增加推理成本的情况下，将合成质量（FID）提升约35%。
一种名为Zero-Expert Self-Distillation Adaptation (ZEDA)的新方法，允许像Qwen3和GLM这样的MoE模型在简单token上跳过一半的专家计算，而精度损失极小，通过添加输出为空的虚拟专家，实现约20%的推理加速。
Q-ARVD是一种新颖的量化框架，通过解决帧级量化敏感度失衡和权重异常值模式，降低自回归视频扩散模型的推理成本。
ZEDA是一种低成本框架，通过注入零输出专家并使用自蒸馏，将后训练的静态MoE模型转换为动态模型，在基准测试中实现了超过50%的专家FLOP减少，且精度损失极小。
本文研究了大型语言模型中 On-Policy 蒸馏（OPD）效率背后的参数级机制，将其归因于模块分配和更新方向上的早期“预见性”。本文提出了 EffOPD，一种即插即用方法，可在不损害最终性能的情况下将 OPD 训练速度提高 3 倍。
SlimSpec 为 drafter LM-head 引入了低秩参数化方法，以加速 LLMs 中的推测解码，在保持完整词表支持的同时实现了 4-5 倍加速。