标签
论文提出 LLM 到流模型蒸馏（LFD），利用冻结的大语言模型作为自适应教师构建课程，并通过直接偏好优化将偏好蒸馏到科学生成器中，无需显式代理奖励即可用自然语言目标控制治疗性肽和小分子结构的生成设计。
该论文比较了经LLM蒸馏的生成式与判别式学生模型在多标签主题分类任务上的表现，发现数据类型决定了架构选择：判别式模型在结构化评论上更优，而即使最小的1B生成式模型在多轮对话数据上也能超越判别式基线，并在大规模长尾标签下保持稳健，最终成功部署于eBay生产环境。
论文提出了一套用于可解释简历—职位匹配的两阶段流水线：首先是一个离线 LLM 标注器，经招聘人员反馈迭代优化，产出八个具名的匹配维度；随后将这些维度蒸馏到一个基于 LoRA 适配、可在 CPU 上部署的双编码器模型中，并为每个维度设置独立的预测头。该模型在 168,772 组标注配对数据上训练，在 927 条生产环境反馈样本组成的子集上，蒸馏后的部署模型与招聘人员记录的决策一致率达 95.79%。
提出了一种用于隐私脱敏的多语言命名实体标记器，通过提示前沿LLM提供监督并结合人工金标准数据对XLM-R进行微调，在35种语言上实现88.8的脱敏（redaction）F1，同时在CPU吞吐上比GLiNER2快4.9倍，并开源了代码、提示与训练配方。
本文测试了金融新闻在发布前已被定价的格言，利用大语言模型蒸馏来分类新闻事件并分析市场反应。研究发现，价格变动集中在发布前和发布时，基本面新闻与故事驱动型新闻呈现不同模式。
本文研究了针对NVFP4低精度大语言模型的量化感知蒸馏，并发现仅使用KL损失的输出匹配可能掩盖内部表征漂移。作者提出了CKA-QAD，通过CKA引导的对齐来保持内部几何结构，从而提升了紧凑模型在推理和编码任务上的准确性。
Trace2Policy 从专家行为痕迹中提取人类可读的决策规则，并通过错误驱动的技能精炼进行迭代优化，在物流领域的合规敏感任务上优于纯LLM基线。
本文重新审视了温度在大语言模型蒸馏中的作用，揭示出温度不对称地更有利于正向KL散度而非反向KL，使得简单的KL方法在较高温度下能够匹敌当前最先进的蒸馏方法。
本文提出有界行为不可区分性，一种超越语义相似性的黑盒LLM蒸馏评估形式化框架。在Qwen和Llama模型上的实验表明，蒸馏降低了但并未消除对抗性可区分性，凸显了类别感知评估的必要性。