Darwin Family：基于MRI信任加权的进化合并方法，实现语言模型推理的无训练扩展
摘要
Darwin Family 是一个无需训练的框架，通过无梯度的权重空间重组实现大语言模型的进化合并，在不额外训练的情况下达到强大的推理性能。该方法引入了MRI信任融合和跨架构育种，用于组合异构模型。
查看缓存全文
缓存时间: 2026/05/15 04:23
论文页面 - Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning
来源: https://huggingface.co/papers/2605.14386
摘要
Darwin Family 框架通过无梯度权重空间重组实现了大型语言模型的无训练进化式合并，在不额外训练的情况下达到了卓越的推理性能。
我们提出了 Darwin Family，一个通过无梯度权重空间重组（https://huggingface.co/papers?q=gradient-free%20weight-space%20recombination）实现大型语言模型无训练进化式合并（https://huggingface.co/papers?q=evolutionary%20merging）的框架。我们探讨的核心问题是：能否在不进行额外训练的前提下，通过重新组织已有检查点中编码的潜在能力来提升前沿推理性能（https://huggingface.co/papers?q=reasoning%20performance）？Darwin 引入了三个关键思想：（i）一个 14 维自适应合并基因组（https://huggingface.co/papers?q=merge%20genome），支持细粒度的组件级和块级重组；（ii）MRI-Trust Fusion（https://huggingface.co/papers?q=MRI-Trust%20Fusion），通过一个可学习的信任参数（https://huggingface.co/papers?q=trust%20parameter）自适应地平衡诊断性层重要性信号与进化搜索；（iii）一个架构映射器（https://huggingface.co/papers?q=Architecture%20Mapper），使得不同模型家族之间的跨架构繁殖（https://huggingface.co/papers?q=cross-architecture%20breeding）成为可能。实验上，旗舰模型 Darwin-27B-Opus 在 GPQA Diamond 上达到了 86.9% 的准确率，在 1,252 个评估模型中排名第 6，并且在没有进行任何梯度训练的情况下超越了其经过充分训练的基座模型。在 4B 到 35B 参数规模上，Darwin 模型持续超越其父代模型，支持递归多代进化，并实现了一种无训练进化式合并，能够组合基于 Transformer 和基于 Mamba（https://huggingface.co/papers?q=Mamba-based%20components）的组件。综上所述，Darwin Family 表明，诊断引导的进化式合并（https://huggingface.co/papers?q=evolutionary%20merging）是一种实用且可复现的替代方案，可替代针对推理型语言模型昂贵的事后训练流水线。
查看 arXiv 页面（https://arxiv.org/abs/2605.14386）
查看 PDF（https://arxiv.org/pdf/2605.14386）
项目页面（https://vidraft.net/）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.14386）
在你的智能体中获取此论文：
hf papers read 2605.14386
没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 17 个
FINAL-Bench/Darwin-35B-A3B-Opus 图像-文本-文本 • 36B • 更新于约 2 小时前 • 2.25k • 79（https://huggingface.co/FINAL-Bench/Darwin-35B-A3B-Opus）
FINAL-Bench/Darwin-36B-Opus 文本生成 • 35B • 更新于 17 分钟前 • 2.7k • 58（https://huggingface.co/FINAL-Bench/Darwin-36B-Opus）
FINAL-Bench/Darwin-31B-Opus 文本生成 • 33B • 更新于约 2 小时前 • 993 • 42（https://huggingface.co/FINAL-Bench/Darwin-31B-Opus）
FINAL-Bench/Darwin-4B-David 文本生成 • 8B • 更新于约 2 小时前 • 324 • 39（https://huggingface.co/FINAL-Bench/Darwin-4B-David）
浏览引用此论文的 17 个模型（https://huggingface.co/models?other=arxiv:2605.14386）
引用此论文的数据集 1 个
FINAL-Bench/World-Model 查看器 • 更新于约 2 小时前 • 100 • 928 • 36（https://huggingface.co/datasets/FINAL-Bench/World-Model）
引用此论文的 Spaces 12 个
包含此论文的收藏 1 个
相似文章
大语言模型中的模型合并扩展定律
本文建立了语言模型合并的实证扩展定律，确定了模型规模、专家数量与性能之间的幂律关系，从而能够为最佳模型组合提供预测性规划。
大型学习模型中增强且高效的推理
本文提出了一种改进大型语言模型推理的方法，通过重新编码数据以显式表示关系，实现高效且原则性的推理，并具备关系规则的多项式时间可学习性，从而解决幻觉问题并支持跨多次调用的可靠推理。
神经语言模型的缩放规律
基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。
面向多样化科学假设搜索的大语言模型方法
本文提出了一种受并行回火启发的进化框架，该框架利用多温度采样和信息交换，提高了大语言模型生成科学假设的多样性和质量，并在分子发现、方程发现和算法发现等领域中得到了验证。
通过大型模型的演化
本论文证明了在代码上训练的大型语言模型可以显著增强遗传编程的变异算子，使得能够在 Sodarace 领域中生成数十万个功能性 Python 程序用于机器人设计，且无需预训练数据。该方法称为演化通过大型模型（ELM），将 LLM 与 MAP-Elites 相结合，为上下文特定的制品生成引导新的条件模型。