论文页面 - 生物学推理模型何时真正使用其生物学输入？

来源：https://huggingface.co/papers/2610.00898

摘要

生物学推理模型通过后训练将 LLM 与生物学基础模型表征及生物学文本连接起来。其基准测试准确率常被视为 LLM 在这些输入上进行推理的证据。我们在 DNA、蛋白质和单细胞任务上对六个生物学推理模型检验了这一假设。我们扰动一个生物学输入，同时保持查询和其他输入不变，构建证据冲突场景——将一个基因组、蛋白质或细胞的基础模型表征与另一个的文本配对，对语言模型接收到的表征拟合线性探针，并将推理轨迹与生物学输入进行对比分析。Evo2 和 ESM3 对评估任务上 BioReason 和 BioReason-Pro 的性能贡献甚微。打乱 DNA 序列几乎不改变 BioReason 的疾病预测准确率，且在证据冲突场景中，两个模型在 97.9% 和 99.7% 的情况下都遵循文本。基于 Evo2 和 ESM3 表征训练的线性探针能够预测任务目标，说明这些基础模型编码了与任务相关的信息，但未能为 BioReason 和 BioReason-Pro 带来显著的整体性能提升。相比之下，基础模型输入对 ChatNT、Prot2Text-V2 和 CellWhisperer 的性能有贡献，且基因句子中的差异表达基因对 Cell2Sentence-Scale 的性能有贡献。在 BioReason-Pro 的 SFT 和 RL 检查点以及 42 个 BioReason 检查点中，准确率的提升并不意味着生物学输入带来了更大的性能贡献。BioReason 的推理轨迹会错误描述核苷酸的变化，而 BioReason-Pro 的推理轨迹在证据冲突下描述了最终预测中被省略的功能。我们发现，当前的后训练策略无法确保基础模型表征对任务性能的贡献。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00898)　查看 PDF (https://arxiv.org/pdf/2610.00898)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00898)

引用此论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.00898 即可从此页面链接。

引用此论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.00898 即可从此页面链接。

引用此论文的 Space0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.00898 即可从此页面链接。

包含此论文的合集0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。