DEI：进化推断中的多样性用于质量-多样性搜索

Hugging Face Daily Papers 论文
quality-diversity evolutionary-inference large-language-models heterogeneous-llms distributed-search core-war mutation-operators

摘要

DEI引入了一种分布式质量-多样性搜索框架，使用异构大语言模型（LLMs）作为变异算子，表明模型多样性相比同构并行方法能提升性能。在Core War领域上的评估显示，一个四节点异构集成在QD-Score和覆盖率上取得了显著提升。

我们提出DEI：进化推断中的多样性（DEI），这是一个分布式质量-多样性（QD）搜索框架，它分配异构大语言模型（LLMs）作为变异算子，运行在通过非阻塞集合操作通信的对等节点上。与复制单一模型的归纳偏差到所有工作节点的同构并行搜索不同，DEI将每个LLM独特的创造性先验视为行为新颖性的互补来源。通过将DEI扩展到数字红皇后框架，节点在每轮结束时共享局部最优解，以种子下一轮的种群。这产生了跨模型对抗压力，驱动鲁棒性超越模型内自我对弈。在Core War领域（一个竞争性编程基准，Redcode勇士程序在模拟机器中战斗）上的评估中，一个四节点异构集成（GPT-5.4-mini、Claude Sonnet 4.6、GPT-5.2和Claude Haiku 4.5）在相等的总LLM调用预算下，相比单节点基线，合并存档的QD-Score提高了124%（45.90对比20.46），覆盖率提高了28%（80.6%对比63.0%的格子）。该异构集成在QD-Score、覆盖率和所有四个模型家族的留出解泛化能力上也优于同等预算的同构集成。这些结果提供了首个实证证据，表明模型多样性（而不仅仅是并行性）是分布式基于LLM的QD搜索中增益的关键驱动因素。
查看原文
查看缓存全文

缓存时间: 2026/06/10 00:12

论文页面 - DEI：进化推理中的多样性助力质量-多样性搜索

来源：https://huggingface.co/papers/2605.27130

摘要

一个分布式质量-多样性搜索框架利用异构大语言模型作为变异算子来增强进化推理，证明了模型多样性相比同质并行方法能提升性能。

我们提出DEI：进化推理中的多样性（DEI：Diversity in Evolutionary Inference）（https://huggingface.co/papers?q=Evolutionary%20Inference），这是一个分布式质量-多样性（https://huggingface.co/papers?q=Quality-Diversity）（QD）搜索框架，它将异构大语言模型（https://huggingface.co/papers?q=heterogeneous%20large%20language%20models（LLMs）指定为变异算子（https://huggingface.co/papers?q=mutation%20operators），分布在对等节点（https://huggingface.co/papers?q=peer%20nodes）上，并通过非阻塞集体操作（https://huggingface.co/papers?q=non-blocking%20collective%20operations）进行通信。与同质并行搜索（在所有工作节点上复制单一模型的归纳偏差）不同，DEI将每个LLM独特的创造性先验视为行为新颖性的互补来源。通过将数字红皇后框架（Digital Red Queen framework）（https://huggingface.co/papers?q=Digital%20Red%20Queen%20framework）与DEI扩展，节点在每轮结束时共享局部最优解（https://huggingface.co/papers?q=local%20optimal%20solutions），为下一轮种群播种。这产生了跨模型对抗压力（https://huggingface.co/papers?q=cross-model%20adversarial%20pressure），推动鲁棒性超越模型内自我对弈。在Core War（https://huggingface.co/papers?q=Core%20War）领域（一个竞争性编程基准，其中Redcode战士程序（https://huggingface.co/papers?q=Redcode%20warrior%20programs）在模拟机器中战斗）上评估，一个四节点异构集成（GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, 和 Claude Haiku 4.5）在相同总LLM调用预算下，相比单节点基线，实现了124%更高的合并存档QD-Score（https://huggingface.co/papers?q=QD-Score）（45.90对20.46）和28%更高的覆盖率（https://huggingface.co/papers?q=coverage）（80.6%对63.0%的单元）。该异构集成在QD-Score（https://huggingface.co/papers?q=QD-Score）、覆盖率（https://huggingface.co/papers?q=coverage）和保留解泛化性（https://huggingface.co/papers?q=held-out%20solution%20generality）方面也优于同等预算的同质集成，且跨越所有四个模型系列。这些结果提供了首个经验证据，表明模型多样性（而非仅仅是并行性）是分布式基于LLM的QD搜索增益的关键驱动因素。

查看arXiv页面（https://arxiv.org/abs/2605.27130）查看PDF（https://arxiv.org/pdf/2605.27130）GitHub2（https://github.com/gensyn-ai/dei）加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.27130）

在你的agent中获取此论文：

hf papers read 2605.27130

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到本论文

在模型的README.md中引用arxiv.org/abs/2605.27130，即可从本页链接。

引用此论文的数据集0

没有数据集链接到本论文

在数据集的README.md中引用arxiv.org/abs/2605.27130，即可从本页链接。

引用此论文的Spaces0

没有Space链接到本论文

在Space的README.md中引用arxiv.org/abs/2605.27130，即可从本页链接。

包含此论文的收藏集0

没有收藏集包含本论文

将此论文添加到收藏集（https://huggingface.co/new-collection）中，即可从本页链接。

相似文章

面向多样化科学假设搜索的大语言模型方法

Hugging Face Daily Papers

本文提出了一种受并行回火启发的进化框架，该框架利用多温度采样和信息交换，提高了大语言模型生成科学假设的多样性和质量，并在分子发现、方程发现和算法发现等领域中得到了验证。

哪些模型协同效果更好？面向 LLM 团队选择的异质性度量

arXiv cs.CL

该论文提出一种以异质性为驱动的框架，用于挑选互补的 LLM 团队：先通过分析误差去相关性与预测分歧来构建模型画像，再采用贪心算法优化“质量–互补性”目标，实验表明该方法在多个基准上优于仅按质量排序的 top-k 基线。

EvoDuet：网络搜索与任务求解的双层协同进化用于科学发现

Hugging Face Daily Papers

EvoDuet 提出了一种双层优化框架，在 LLM 参数固定的情况下协同进化解决方案与网络搜索查询，并通过检索门控决定何时获取新文档、何时复用已有文档。在 21 个任务上，它显著提升了 OpenEvolve 的归一化发现增益（例如在 Gemini-3.8-Flash 上从 61.3% 提升至 82.3%），在八个任务上超越了此前的最佳成绩，并在不同的进化搜索脚手架上表现出良好的泛化能力。