论文页面 - LLM-to-Flow 蒸馏：将自然语言目标传授给科学生成模型

来源：https://huggingface.co/papers/2610.17246

摘要

LLM-to-Flow 蒸馏利用冻结的 LLM 构建自适应课程，并通过 DPO 蒸馏偏好，使科学生成模型与高层次发现目标对齐，从而实现对肽和小分子设计的控制\。

科学中的生成式发现需要将高层次科学推理与生成符合设计空间结构的样本的能力相结合\。然而，这些能力在很大程度上仍然彼此分离：基础 LLM 编码了广泛的化学和生物学知识，而领域专用的基于流和扩散的生成模型 (https://huggingface.co/papers?q=diffusion-based%20generators) 则掌握了生成有效序列和几何结构所需的先验知识\。我们研究如何在不需要显式代理奖励的情况下，使此类科学生成模型与高层次自然语言发现目标对齐；在实验科学中，这种奖励往往无法获得，或难以由学习得到的预测器准确刻画\。我们提出 LLM-to-Flow 蒸馏 (https://huggingface.co/papers?q=LLM-to-Flow%20Distillation)\（LFD\），其中冻结的 LLM 充当领域专用生成模型的自适应教师\。给定一个目标，例如“生成具有潜在抗癌活性的肽”，教师会根据流模型当前的能力构建由中间子目标组成的课程，并逐步引导模型朝着最初的发现目标前进\。在每一轮中，LLM 根据当前目标评判采样得到的候选样本\。这些判断形成偏好，并通过 DPO (https://huggingface.co/papers?q=DPO) 迭代地蒸馏到生成模型中\。即使初始模型生成满足最终目标的设计的概率微乎其微，该过程仍能提供密集的学习信号，使模型能够向覆盖不足的分布外区域适应\。在治疗性肽 (https://huggingface.co/papers?q=therapeutic%20peptides) 和小分子结构设计 (https://huggingface.co/papers?q=small-molecule%20structure%20design) 上的实验表明，LFD 实现了一种新的生成控制方式：使任意领域专用科学生成模型与通过高层次自然语言目标表达的科学发现任务对齐\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.17246)查看 PDF (https://arxiv.org/pdf/2610.17246)项目页面 (https://llm-to-flow-distillation.github.io/)GitHub13 (https://github.com/FedericoDiGennaro/LLM-to-Flow-Distillation)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.17246)

引用此论文的模型0

没有链接到此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.17246，即可从本页面链接到该模型\。

引用此论文的数据集0

没有链接到此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.17246，即可从本页面链接到该数据集\。

引用此论文的 Space0

没有链接到此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.17246，即可从本页面链接到该 Space\。

收录此论文的合集0

没有收录此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集\。