@rohanpaul_ai：现在，你可以用普通英语输入你的需求，让一个药物设计模型去帮你实现。通常，要让一个模型生成……

X AI KOLs Timeline 论文
drug-discovery protein-design large-language-models dpo reinforcement-learning natural-language-control

摘要

Riccardo De Santi 等人提出了 LLM-to-Flow Distillation（LFD，大语言模型到流的蒸馏）方法。该方法利用大语言模型根据自然语言描述的目标对科学生成模型的输出进行评分，从而省去了针对特定任务的奖励模型的需求，并在药物/分子设计领域中表现优于直接使用奖励函数进行训练的方式。

你现在可以用普通英文输入你的需求，让一个药物设计模型去追逐目标。 通常，要让模型生成更好的候选药物，你需要一个针对该目标专门训练的奖励模型。这项研究直接删除了这一步骤，改由一个 LLM 来评判输出——它只需用英文阅读你的目标即可。 任何负担不起为目标构建评分模型的实验室，现在都有了实现定向生成的途径。这道门槛曾将小型团队挡在生成式设计之外，而它刚刚被移开了。 RLHF 在各个领域都面临同样的冷启动问题：如果基础模型从未产生过好的输出，就没有东西可以排序。于是 LLM 先写一个更简单的目标，据此进行评分，并随着模型的提升不断抬高标准。 基础分子模型在 38,500 次采样中产出了 0 个可用命中结果。经过几轮这样的迭代后，它在一批 512 个样本中就能产出一个。 LLM 的评分很多时候是完全错误的，但这并不重要，因为 DPO 只需要"A 比 B 好"这样的相对判断，而不需要精确的数值。 经过 LLM 评分训练的模型，击败了那些被允许直接针对真实评分函数进行训练的版本——69.06 对比 57.04——而它从未见过任何一个真实分数。
查看原文
查看缓存全文

缓存时间: 2026/10/16 04:20

你现在可以直接用普通英文输入你的需求，让一个药物设计模型朝着目标去跑。

通常，要让模型生成更好的候选药物，你需要针对该目标专门训练一个奖励模型。但这项研究把这一步省掉了——让一个 LLM 直接阅读你的英文目标，代替奖励模型来评判输出结果。

任何负担不起为特定目标构建打分模型的实验室，现在都有了通向可控生成器的路径。这曾是将小型团队挡在生成式设计门外的门槛，而它刚刚被移开了。

RLHF 在各个领域都面临同样的冷启动问题：如果基础模型从不产出好结果，就根本没有东西可以排序。因此，这个 LLM 会先写一个更简单的目标，据此进行打分，然后随着模型能力提升，不断抬高标准。

基础分子模型在 38,500 个样本中产出了 0 个可用命中。经过几轮迭代后，在 512 个样本的批次中就产出了一个。

LLM 的评分很多时候错得离谱，但这不重要，因为 DPO 只需要知道“A 比 B 好“，而不需要精确的数值。

使用 LLM 评分的模型击败了那些被允许直接针对真实打分函数进行训练的版本，得分 69.06 对 57.04——而且它从未见过任何一个真实分数。

Riccardo De Santi (@r_de_santi)： 我们正在将自然语言控制引入任何科学生成器。

我们非常激动地介绍 LLM-to-Flow 蒸馏（LFD）——一种将科学生成器适配到高层自然语言发现目标的方法。

从诸如“设计具有……“这样的文本目标出发

相似文章

LLM 到流模型的蒸馏：将自然语言目标传授给科学生成模型

Hugging Face Daily Papers

论文提出 LLM 到流模型蒸馏（LFD），利用冻结的大语言模型作为自适应教师构建课程，并通过直接偏好优化将偏好蒸馏到科学生成器中，无需显式代理奖励即可用自然语言目标控制治疗性肽和小分子结构的生成设计。

FlowLM: 基于扩散-流适配的少步语言建模

arXiv cs.CL

FlowLM 提出了一种流匹配语言模型，通过高效微调从预训练扩散模型衍生而来，能够实现高质量少步文本生成，其效果可与2000步扩散采样相媲美，而训练轮次更少。