思想亦有基因组：科学谱系推理与谱系驱动的创意生成基准测试

Hugging Face Daily Papers 论文
scientific-lineage idea-generation benchmark llm-evaluation evolutionary-dynamics lineage-reasoning ai-science

摘要

介绍了IG-Bench，一个用于科学谱系推理和创意生成的基准测试，将科学作品表示为Idea Genome对象。评估了14个基于LLM的科学家，发现了一个组合瓶颈，最强系统在谱系推理上的精确准确率仅为27.3%。

科学创意很少从零开始。它们继承机制、修复已知局限、并重组先前工作的片段，就像生物基因组一样。当前的基准测试对AI系统能否遵循这种继承结构仍然言之甚少。我们提出了IdeaGene-Bench（IG-Bench），一个用于科学谱系推理和基于谱系的创意生成的基准测试。IG-Bench围绕IdeaGene框架组织：每篇论文或提案被表示为一组最小化、有类型、有证据依据的Idea Genome对象，而GenomeDiff对齐这些对象以记录六种操作进化动态下的继承、突变、丢失、外部导入和新插入。该基准测试包含1,961条金色谱系轨迹、1,085个精选的Idea Genome对象，以及跨越10个科学领域的920个成对GenomeDiff记录。它支持两种评估。IG-Exam（42种任务类型，1,029个实例）测试了跨Idea Genome抽象、继承追踪、进化推理和谱系验证的封闭式谱系推理。IG-Arena使用基于谱系的人口进化分数（PES）评估生成能力，询问一个提案是否能作为给定谱系种群的一致后代插入：它应继承正确的Idea Genome对象，与邻近工作有有意义的变异，并为未来研究提供选择价值。在14个基于LLM的科学家上的实验揭示了一个组合瓶颈。最强系统在谱系推理上的精确准确率仅为27.3%，并且结构化的谱系上下文重新洗牌了系统排名，而不是均匀地帮助每个参与者。
查看原文
查看缓存全文

缓存时间: 2026/07/10 06:17

论文页面 - 思想具有基因组：科学谱系推理与基于谱系的创意生成基准测试

来源：https://huggingface.co/papers/2607.08758 作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

本文介绍了一个用于科学谱系推理与创意生成的基准测试，将科学作品组织为类基因的“思想基因组“对象，并同时评估推理与生成能力。

科学思想很少从零开始。它们继承机制、修复已知局限、并将早期工作的片段重新组合，这与生物基因组极为相似。当前的基准测试仍然很少关注AI系统能否遵循这种继承结构。我们提出了IdeaGene-Bench（IG-Bench (https://huggingface.co/papers?q=IG-Bench)），这是一个用于科学谱系推理 (https://huggingface.co/papers?q=lineage%20reasoning) 和基于谱系的创意生成 (https://huggingface.co/papers?q=idea%20generation) 的基准测试。IG-Bench (https://huggingface.co/papers?q=IG-Bench) 围绕IdeaGene框架 (https://huggingface.co/papers?q=IdeaGene%20framework) 构建：每篇论文或提议被表示为一组最小化、有类型、基于证据的Idea Genome对象 (https://huggingface.co/papers?q=Idea%20Genome%20objects)，而GenomeDiff (https://huggingface.co/papers?q=GenomeDiff) 则对齐这些对象，以记录在六种操作性进化动力学 (https://huggingface.co/papers?q=evolutionary%20dynamics) 下的继承、突变、丢失、外部引入和新颖插入。该基准测试包含1961条黄金谱系轨迹、1085个经过整理的Idea Genome对象 (https://huggingface.co/papers?q=Idea%20Genome%20objects) 以及920条成对GenomeDiff (https://huggingface.co/papers?q=GenomeDiff) 记录，覆盖10个科学领域。它支持两种评估方式。IG-Exam (https://huggingface.co/papers?q=IG-Exam)（42种任务类型，1029个实例）测试封闭式谱系推理 (https://huggingface.co/papers?q=lineage%20reasoning)，涵盖思想基因组抽象、继承追踪、进化推理和谱系验证。IG-Arena (https://huggingface.co/papers?q=IG-Arena) 则通过基于谱系的条件性种群-进化得分 (https://huggingface.co/papers?q=Population-Evolution%20Score)（PES）评估生成能力，询问一个提议能否作为给定谱系种群的连贯后代被插入：它应继承正确的Idea Genome对象 (https://huggingface.co/papers?q=Idea%20Genome%20objects)，与邻近工作产生有意义的差异，并为未来研究提供选择价值。对14个基于LLM的科学家 (https://huggingface.co/papers?q=LLM-based%20scientists) 的实验揭示了一个组合瓶颈。最强的系统在谱系推理 (https://huggingface.co/papers?q=lineage%20reasoning) 上的精确准确率仅为27.3%，而结构化的谱系上下文会重新洗牌系统排名，而非均匀地帮助每个参与者。

查看arXiv页面 (https://arxiv.org/abs/2607.08758) 查看PDF (https://arxiv.org/pdf/2607.08758) 项目页面 (https://visionxlab.github.io/IdeasHaveGenomes/) GitHub2 (https://github.com/VisionXLab/IdeasHaveGenomes) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.08758)

引用此论文的模型0

尚无模型链接此论文

请在模型README.md中引用 arxiv.org/abs/2607.08758 以便从此页面链接。

引用此论文的数据集0

尚无数据集链接此论文

请在数据集README.md中引用 arxiv.org/abs/2607.08758 以便从此页面链接。

引用此论文的Space0

尚无Space链接此论文

请在Space README.md中引用 arxiv.org/abs/2607.08758 以便从此页面链接。

包含此论文的收藏集0

尚无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以便从此页面链接。

相似文章

GENEB：为何基因组模型难以相互比较

arXiv cs.CL

GENEB 是一个大规模诊断基准，在统一的探测协议下，跨 13 个功能类别的 100 项任务对 40 个基因组基础模型进行评估。研究结果揭示了综合排行榜的不稳定性，以及架构匹配度往往比模型规模更具决定性影响。该工作旨在解决基因组机器学习领域评估体系碎片化的问题，类似于 MTEB 在 NLP 领域所做的工作。

衡量人类与LLM研究思路之间的差距

Hugging Face Daily Papers

本研究论文引入了一个框架，用于衡量人类生成与LLM生成的研究思路之间的分布差距，发现LLM思路集中在特定的机会模式与综合方法上，而人类思路则更为多样化。