标签
KDFP：大语言模型知识蒸馏的第一性原理方法 来源：https://arxiv.org/html/2610.10854 Ryan Swift & Konstantinos Psounis单位：Thomas Lord计算机科学系单位：南加州大学单位：美国加利福尼亚州洛杉矶市 90007邮箱：[{ryanswif,kpsounis}@usc.edu](mailto:) ###### 摘要 知识蒸馏是一种成熟的技术，通过利用更大、更强的教师模型的表示来训练小型、高效的学生模型，从而提升其能力。近期关于大语言模型（LLM）蒸馏的研究大多聚焦于蒸馏后训练阶段习得的能力，例如指令遵循、思维链推理和工具使用。这导致大语言模型通用知识蒸馏领域存在巨大的研究空白，而通用知识蒸馏对于开发适用于边缘设备部署的高效且注重隐私的系统至关重要。我们采用第一性原理的方法，评估了以往研究中的经验教训，并进行了新的探索，以开发适用于现代大语言模型的蒸馏方法。我们提出了KDFP，这是一种面向大语言模型白盒通用知识蒸馏的新方法。实验结果表明，KDFP在9个基准测试上超越现有方法1.6%–4.9%，并通过临时参数削减将训练效率提升最高达99.1%。
论文指出，权重量化中降低重建损失并不总能提升模型性能，甚至可能因输入激活分布偏移而劣化。为此提出分布鲁棒量化（DRQ）后处理优化框架，通过在受限激活分布集合上最小化最坏情况下的重建损失，改进了 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法的下游表现，且不增加推理开销。
论文提出了轨迹锚定剪枝（Trajectory-Anchored Pruning，TAP），这是首个面向强化学习训练的长时程智能体的结构化剪枝框架，将通道剪枝与轨迹锚定的同策略恢复相结合。在移除60%的FFN通道后，TAP在ALFWorld和WebShop上分别保留了稠密7B智能体99.2%和88.0%的任务成功率，同时将每个成功任务的GPU耗时分别降低约22%和17%。
OnlineQAT 采用两阶段框架：先通过块级 QAT 获得低位初始化，再在学生自生成的轨迹上，利用冻结的全精度教师进行反向 KL 的在线蒸馏，从而缓解固定补全训练与部署时学生自采样前缀之间的分布错配。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16（57.28）和 W2A16（32.52）设置中取得对比方法中的最佳平均分，较 ReasoningQAT 分别提升 2.90 和 0.44 分。
LRCC提出了一种与token相关的计算分配方案：在冻结的预训练LLM中，通过训练轻量级路由器，在嵌套的低秩路径上进行动态选择。在相同的活跃参数预算和解码延迟下，与静态低秩压缩相比，LRCC在Llama和Qwen模型上取得了更好的困惑度和下游任务准确率。
该论文提出 reViT，通过在每个递归深度用一个共享专家库的凸组合来表示 FFN，使单个 Transformer 块以递归方式应用即可在相近推理 FLOPs 下匹配全深度视觉编码器的精度，并支持弹性深度部署与权重量级压缩。
该帖子讨论了量化如何从固定的比特宽度转向自适应方案：Unsloth Dynamic 已经会对敏感权重进行轻度压缩、对不敏感权重进行激进压缩，而 GSQ + RCO 则训练一个网络利用梯度来决定每个权重以何种方式、在多少比特宽度下进行压缩，其在 Qwen3.8-Flash-Next-GSQ-RCO-GGUF 上的 IQ3_S 性能已接近 BF16 全精度水平。
该项目展示了一个拥有 2.78 万亿参数的模型，仅用 8GB 内存即可运行——采用纯 C99 编写的推理引擎，不依赖 BLAS、任何框架或 GPU，以速度换取极致的内存效率（8GB 内存下约 26.5 秒/token，128GB 以上约 5.6 秒/token）。
SoloQ提出一种免校准的量化框架，将权重和激活映射到归一化旋转基底，实现数据无关的4比特量化，在扩散语言模型上保持精度并最多降低2.61倍峰值内存、加速2.24倍推理。
FastOPD 提出了一种在线策略蒸馏框架，能够将大型视觉-语言-动作（VLA）基础模型压缩为仅需少量推理步骤的轻量级学生模型，在延迟降低78.1%的情况下保留了 π₀.₅ 在 LIBERO 上84%的性能，并将从 MolmoAct2 蒸馏得到的紧凑学生模型部署在真实机器人上。
TORQUE 提出一种在旋转前后联合优化保留哪些坐标以高精度的量化框架，在固定比特预算下证明 top-k 保留可最小化误差上界，并在 KV 缓存压缩、激活压缩和近邻检索上取得更好的精度-存储权衡。
论文提出了一种名为 HeadGuard 的可组合方法：在高精度下保护视觉语言模型（VLM）图像 KV 缓存中一小部分 KV 注意力头，而对其余部分采用低比特量化。该方法在多个模型和基准测试上显著恢复了激进的 2-bit 量化所造成的精度损失。
QuantMLA 提出一种功能对齐的双路径量化框架，对 MLA 的内容路径与 RoPE 路径进行低比特 KV 缓存压缩，首次实现 INT4 联合缓存且精度几乎无损，并通过自定义低比特注意力内核在 128K 上下文下获得 3.59 倍压缩和 5.168 倍吞吐提升。
一个使用三元3:4权重的1.6 MB模型在浏览器中通过WebGPU运行，玩四子棋的效果与7.8 MB的int8模型相当，展示了三元格式在轻量级AI部署中的有效性。
发布了 Qwen3.8-Flash-Next 的 GSQ-RCO 量化和专家剪枝版本，在降低比特率的同时达到 BF16 级别的性能，并支持在更小硬件上部署。
ToMoE是一种方法，它通过动态结构剪枝将密集的大型语言模型转换为MoE模型，在不进行权重更新的情况下实现强劲性能，并超越了最先进的剪枝和MoE技术。
FermionResearch 发布了 Phonon-2，这是 900 MB 以下最精确的英文语音识别开源模型，在 Open ASR Leaderboard 上平均词错误率为 5.21%，通过约 2.1-bit 量化即可媲美其 2.5 GB 的教师模型。
本文分析了在知识蒸馏过程中，提示模板的选择如何影响学生大语言模型的安全对齐，发现聊天模板相比非聊天模板在多个模型和基准测试中会导致更大的性能下降。
PrismQuant引入了一种量化感知旋转框架，将激活特征空间与分组INT4量化器对齐，在Llama和Qwen等大语言模型上实现了最先进的性能，并显著提升了推理速度。
本文提出了LT-OPD，一个用于多模态大语言模型中极端视觉令牌缩减的策略内自蒸馏框架，在低令牌预算下显著提升性能，同时减少KV缓存使用和FLOPs。