meta-optimization

Meta团队在arXiv预印本（2606.25996）中提出Autodata方法，通过AI agent作为数据科学家迭代生成高质量合成训练数据和评估数据，核心机制Agentic Self-Instruct利用orchestrator、challenger、weak/strong solver和judge形成闭环，并引入meta-optimization进化prompt，显著提升数据质量。

本文提出将科学发现形式化为一个元优化问题，其中LLM通过相关性加权投票生成并聚合目标函数，应用于使用数字MemComputing的3-SAT算法发现，在大规模实例上实现了67倍的加速。

Autodata 引入了一种智能体数据科学家，它能够迭代生成并优化合成训练数据，并通过元优化进一步提升数据质量，在计算机科学和法律推理任务上取得了更好的效果。

Autodata是一种方法，通过元优化使AI智能体能够扮演数据科学家的角色，创建高质量合成训练数据，在计算机科学、法律推理和数学任务等领域实现了性能提升。

MetaEvo 提出了一种两阶段框架，用于基于LLM的智能体的持续进化，利用基于偏好的优化来增强原则抽象和用于经验重用的模块化架构，在推理基准测试上优于强基线。