从搜索到综合：训练大语言模型为零样本工作流生成器

# 从搜索到合成：训练大语言模型作为零样本工作流生成器 来源：https://arxiv.org/html/2606.30704 ###### 摘要 大语言模型（LLMs）在广泛的任务中表现出色，但其面向具体实例的解决方案往往缺乏可靠部署所需的结构一致性。编码了任务层面重复算法模式的工作流提供了一个原则性框架，能够在实例变化时保持鲁棒性，提供可调试的可解释轨迹，并在问题实例间实现可复用。然而，手动设计此类工作流需要大量专业知识和努力，限制了其广泛应用。虽然自动工作流生成可以解决这一瓶颈，但现有方法要么生成仅限实例的解决方案而无法学习任务层面的模式，要么无法泛化到训练配置之外。我们提出MetaFlow，将工作流生成视为一个元学习问题：给定一个任务和一个操作符集合，模型学习组合解决策略。MetaFlow分两个阶段训练：先对合成工作流数据进行监督微调，再利用可验证奖励的强化学习（RLVR）——使用任务中多个问题实例上的执行反馈——来改进端到端的成功率。由此产生的模型不仅能为训练过的任务生成有效工作流，还能对未训练的任务和新颖的操作符集合展现出强大的泛化能力。在问答、代码生成和数学推理的基准测试中，MetaFlow 在领域内任务上以单次推理达到了与最先进基线相当的性能，同时在领域外任务和操作符集合上表现出卓越的零样本泛化能力。 ## 1 引言 大语言模型（LLMs）在代码生成、问答和数学推理等一系列任务中展示了显著性能（Austinet al., 2021; Chenet al., 2021; Yanget al., 2018; Duaet al., 2019; Dinget al., 2024; Jianget al., 2025; Cobbeet al., 2021; OpenAI, 2023; Zhu and others, 2024）。然而，由于这些模型生成的是实例特定的解决方案，它们缺乏可靠部署所需的结构一致性和透明度，并且难以适应类似任务。编码了重复算法模式的**工作流**提供了原则性的替代方案，将复杂挑战分解为结构化的、可管理的步骤。然而，手动设计此类工作流需要大量专业知识和努力，限制了其广泛应用。为应对这一挑战，近期工作聚焦于自动工作流生成（Khattabet al., 2023; Liet al., 2024; Songet al., 2024; Zhanget al., 2024a）。赋予 LLMs 这种策略规划能力意味着将复杂任务自动化的门槛从需要专家手动编程降低到仅需提供高层次任务描述，从而极大解放生产力。尽管如此，许多方法中将工作流表示为静态图（Zhugeet al., 2024）或神经网络（Liuet al., 2024）限制了可生成工作流的灵活性。一个前景光明方向来自像 ADAS（Huet al., 2024）、AFlow（Zhanget al., 2024b）、ScoreFlow（Wanget al., 2025）和 FlowReasoner（Gaoet al., 2025）这样的工作，它们将工作流表示为代码（预定义**操作符**的结构化组合），使得自动生成工作流更加灵活且富有表现力，其中**操作符**是由 Zhanget al.（2024b）引入的常见智能体操作的封装。在此基于代码的框架内，当前方法采用两种不同的工作流生成范式。 参见标题 图 1：**实例级**、**任务级**和**元级（我们的）** 工作流生成方法示意图。与实例级方法为每个单独问题生成工作流、或任务级方法需为每个新任务进行昂贵搜索不同，我们的元学习方法实现了跨任务的零样本工作流生成。 第一种范式是**任务级**方法，以 ADAS（Huet al., 2024）和 AFlow（Zhanget al., 2024b）为代表，将工作流生成表述为在预定义任务-操作符集合组合中的搜索问题。这两种方法都采用迭代搜索策略——ADAS 使用进化算法，AFlow 使用蒙特卡洛树搜索（MCTS）——通过重复细化来发现高性能工作流。然而，这种基于搜索的范式本质上将它们约束在特定任务和预定操作符集合内。当遇到新任务或新操作符时，这些方法需要从零开始完全重新优化，产生大量计算成本（Wanget al., 2025）。相反，第二种范式是**实例级**方法，以 ScoreFlow（Wanget al., 2025）和 FlowReasoner（Gaoet al., 2025）为代表，它们为任务中单个问题实例生成定制的工作流。这两种方法都在推理时动态构建工作流：ScoreFlow 利用基于梯度的优化来精炼智能体工作流，FlowReasoner 使用从高级模型中蒸馏的推理链来设计针对特定查询的多智能体系统。虽然这些实例级方法擅长为特定问题实例定制工作流，但这种细粒度以牺牲可复用性和部署效率为代价。它们无法捕捉在相似问题实例间重复出现的任务级模式，导致对每个查询生成冗余的工作流。在部署场景中，这种方法放弃了拥有可应用于整个任务的、经过优化的可复用工作流模板所带来的好处。 现有范式的局限性凸显了实现真正通用自动工作流生成必须解决的两个根本挑战。(1) 面对新领域（任务-操作符集合组合）时，如何克服任务级方法所需的重新优化要求？(2) 如何学习可泛化的模式，避免冗余的实例级生成，同时有效适应未经训练的领域？ 为系统性地克服这些挑战，我们提出**MetaFlow**，将工作流生成表述为元学习问题。如图1所示，与需要为新任务-操作符集合组合进行昂贵重新优化的任务级搜索方法，以及为单个查询生成工作流的实例级方法不同，MetaFlow 学习直接从任务描述和操作符集合说明中合成工作流，通过单次模型推理实现零样本生成。为实现鲁棒的零样本泛化，MetaFlow 采用了两阶段训练范式并使用了多样化的任务-操作符对。采用来自先前工作（Huet al., 2024; Zhanget al., 2024b; Wanget al., 2025; Gaoet al., 2025）的基于代码的工作流表示，我们首先使用 Qwen-Max（Team, 2024）在四个任务和一个操作符集合上合成数千个工作流，对 Qwen3-8B（Yanget al., 2025）进行微调，为理解任务和操作符如何与工作流结构关联奠定基础。随后，我们在扩展的领域上应用采用 GRPO（Shaot al., 2024）的在线强化学习，其中问题实例上的执行反馈直接优化生成策略。这种训练确保模型学习可泛化的工作流构建原则，而非记忆模式。在推理时，MetaFlow 仅需单次前向传递即可为零样本生成新配置的有效工作流。 我们的主要贡献包括： - • **元学习框架**：我们引入 MetaFlow，一种新颖的方法，将工作流生成从在固定配置内进行离散搜索重新表述为跨不同任务-操作符集合组合的连续学习。通过将工作流生成条件化为任务描述和操作符说明，我们的框架在未见领域上实现了强大的零样本泛化，无需任何重新优化，将计算成本从数千次 API 调用减少到单次模型推理。 - • **可扩展训练流程**：我们设计了一个两阶段训练框架，结合监督学习与在线强化学习，利用多样化领域确保对未训练领域的鲁棒泛化。 - • **全面评估**：大量实验表明，MetaFlow 在领域内基准测试上取得了有竞争力的性能，同时在领域外任务类别和操作符集合上表现出卓越的零样本泛化能力，包括使用训练中从未见过的新颖操作符组合解决编程问题，以及使用向量数据库搜索操作符解决问答问题。 ## 2 相关工作 ### 2.1 智能体工作流 智能体工作流通过预定义的操作符和依赖关系将复杂任务分解为结构化的步骤（Zhanget al., 2024b； Wanget al., 2025； Gaoet al., 2025）。与通过环境交互学习的自主智能体（Zhugeet al., 2024； Honget al., 2024）不同，工作流提供了可解释且一致的执行模式。近期工作采用基于代码的表示以获得更优的表达力（Huet al., 2024； Zhanget al., 2024b； Wanget al., 2025； Gaoet al., 2025），支持在代码生成、问答和数学推理中的应用（Austinet al., 2021； Chenet al., 2021； Yanget al., 2018； Duaet al., 2019； Dinget al., 2024； Jianget al., 2025； Cobbeet al., 2021； OpenAI, 2023； Zhu and others, 2024）。然而，手动设计工作流仍然是需要深厚专业知识的重要瓶颈。 ### 2.2 自动工作流生成 近期进展探索了自动化工作流生成以提升 LLM 性能（Chenet al., 2023； Zhanget al., 2024b； Wanget al., 2025； Liet al., 2024； Songet al., 2024）。虽然有些方法在固定工作流内优化提示（Guoet al., 2023； Khattabet al., 2023），但我们专注于直接优化工作流结构。当前的结构优化遵循两种范式。任务级方法如 ADAS（Huet al., 2024）和 AFlow（Zhanget al., 2024b）通过进化算法或 MCTS 搜索最优工作流，但面对新域时需要完全重新优化。实例级方法包括 ScoreFlow（Wanget al., 2025）和 FlowReasoner（Gaoet al., 2025）生成面向查询的工作流，但未能提取可复用模式。我们的方法 MetaFlow 将工作流生成重新表述为在训练期间对多样化任务-操作符组合的元学习。通过结合监督学习和强化学习的两阶段优化，它实现了真正的零样本生成——通过单次模型推理为新领域产生有效的工作流，消除了重新优化和适应性开销。 ## 3 问题定义 现有工作通常将自动工作流生成表述为优化问题（Xuet al., 2025； Liet al., 2025），要求对每个任务进行单独的优化。我们通过将其重新表述为元学习问题（Finnet al., 2017； Franceschiet al., 2018）来提升这一视角。为奠定此表述的基础，我们首先定义核心概念： - • **问题实例** \( \mathsf{p} \) ：一个需要解决的单一具体问题。 - • **任务** \( \mathsf{C} \) ：共享共同结构和解决策略的一系列问题实例（例如，GSM8K 数学推理，DROP 阅读理解）。 - • **操作符集合** \( \mathsf{Ops} \) ：一组基本的、可复用的操作（Zhanget al., 2024b）（例如，生成、修订、集成）。 - • **领域** \( (\mathsf{C}, \mathsf{Ops}) \) ：任务和操作符集合的组合，定义了一个完整的问题解决上下文。 在这个元学习框架中，大语言模型作为元学习器（规划器 \( \pi_{\theta} \)）。其核心职责是学习一个元策略，使得能快速适应：给定任何领域 \( (\mathsf{C}, \mathsf{Ops}) \)，规划器快速生成一个高效且可复用的工作流 \( \mathsf{W} \) —— 从 \( \mathsf{Ops} \) 中选择操作符的结构化序列。当在任务 \( \mathsf{C} \) 的任意问题实例 \( \mathsf{p} \) 上执行时，该工作流产生高质量的解 \( \mathsf{s} \)。与传统的元学习方法如模型无关元学习（MAML）（Finnet al., 2017）依赖梯度更新进行适应不同，我们的方法通过合成工作流实现快速适应，无需任何基于梯度的微调。作为元学习