标签
Perplexity 结合了拒绝采样微调与提示引导自蒸馏，以在真实世界工具使用中训练其 Computer 模型，从成功会话和用户纠正的失败中学习。
模型嫁接技术将 Qwen3.5-4B 修改为因果编码器-解码器，创建变体，在提示处理中速度提升高达3.7倍，且准确度损失最小。
本文介绍对比自蒸馏，通过分离正确性与行为转变来提高AI模型的推理能力，并展示了增强的性能和稳定性。
HyperFlow 推出了一个新的 MiniMax-H3 变体，该变体使用开放权重 LoRA，通过无数据自蒸馏实现 3 倍速推理，同时保持视频和立体声输出。
HyperFlow 是一个开源的 8 步 LoRA，它使用无数据流自蒸馏在 MiniMax-H3 中将视频生成步数从 49 步减少到 8 步，在保持质量的同时实现了显著的加速。
本文研究了特权信息在语言模型在策略自蒸馏中的贡献，发现无参考蒸馏贡献了大部分性能提升，而特权参考带来的额外收益有限。
本文介绍了边界感知自蒸馏，通过控制数据合成减少良性提示的误拒绝，同时保持真正的拒绝，从而改善LLM安全拒绝。
HypReflect 是一个用于大语言模型助手持续个性化的框架，它从用户信号中推断显式偏好假设，并使用自蒸馏来适应，优于基线并泛化到未见过的用户和跨领域设置。
TTPO引入了一种无标签的测试时训练方法，用于数学推理，通过非对称处理一致和不一致的运行轨迹，达到了与监督学习相当的性能。
本文研究了在线策略自蒸馏中的性能增益是否源于学习特权参考信息或恢复已有推理行为，发现正确参考在不同条件下并未一致地带来性能提升。
DART-SD提出了一种拓扑感知的检索和调优框架，用于基于LLM的工具调用代理的自蒸馏，通过仅纠正关键拓扑断点并保留有效推理来提升策略多样性。
SkillForge 是一个自蒸馏框架，通过主动合成和解决合成仓库问题来获取项目特定知识，从而提升基于大语言模型的软件问题解决性能，并优于基线方法。
本文解决了LLM评判器在同时评估多个评分标准时遇到的评分标准干扰问题，并提出了自锚定评分标准对齐（SARA）方法，通过在策略自蒸馏来提高评估一致性。
SMOPD是一种仅使用损失的稳定方法，用于多轮在策略自蒸馏，通过选择性令牌熵掩蔽来提高脏历史设置下的准确性，并展示了在Qwen3模型上的改进。
介绍 I-SDPO，一种实例级自适应自蒸馏策略优化方法，根据 rollout 组中是否包含任何成功响应，在 GRPO 与特权自蒸馏之间切换，从而提升 SciKnowEval 上的推理性能。
Introduces SSPO, a step-level self-distilled policy optimization method for training deep search agents, which uses evidence anchors and advantage weights to improve credit assignment beyond sparse outcome rewards. SSPO outperforms GRPO on benchmarks like BrowseComp and GAIA with only ~5% overhead per step.
This paper introduces HPSE, a hybrid-policy self-editing method for composable unstructured knowledge editing in LLMs, enabling edited models to answer atomic questions and perform multi-hop reasoning about injected knowledge. The approach uses proactive self-distillation with hybrid rollouts and is validated across multiple LLM backbones and editors.
本文介绍了潜在同策略自蒸馏（LOPD），该方法使教师的特权上下文能够从经验中端到端学习，提供密集的token级别监督，以提升智能体在智能工具使用和代码生成中的性能和效率。
This paper proposes an adaptive supervised anchoring framework for on-policy self-distillation, addressing the problem of rollout-conditioned signal degradation in language model training. The method separates rollout-conditioned distribution matching from canonical-context supervision, improving task acquisition while preserving general capabilities.
清华、浙大和美团团队提出AgentOPSD，一种递归自蒸馏的信用分配方法，将稀疏的最终奖励转化为逐步信用信号，提升长时Agent强化学习性能。在ALFWorld等任务上显著优于GRPO基线。