标签
该文章探讨了模型蒸馏的难度和成本，以DeepSeek R1蒸馏到Llama 3 8b和Qwen 2.5 7b为例，询问为何蒸馏模型不常见。
本文提出了 AdaRankLLM，一个自适应检索框架，通过列表排序动态过滤检索到的段落，对自适应 RAG 的必要性提出质疑。研究表明自适应检索对于较弱模型充当噪声过滤器，对于更强模型充当成本效率优化器，在多个数据集和 LLM 上进行了广泛实验。
Anthropic联合撰写的一项研究发表于《自然》杂志，研究表明，LLM能够通过训练数据中的隐藏信号，将行为特征——包括偏好和对齐偏差——传递给学生模型，即便这些数据表面上与这些特征毫无关联。这种"潜意识学习"现象对AI安全与对齐领域具有重大影响。
# API 中的模型蒸馏 来源: [https://openai.com/index/api-model-distillation/](https://openai.com/index/api-model-distillation/) 我们推出了新的模型蒸馏服务，为开发者提供集成工作流，直接在 OpenAI 平台内管理整个蒸馏流程。这让开发者可以轻松利用 o1-preview 和 GPT-4o 等前沿模型的输出，来微调和提升 GPT-4o m 等更加经济高效的模型的性能