EnvLunch:将环境作为学习交互的免费午餐

Hugging Face Daily Papers 论文

摘要

EnvLunch 提出一种无标注的热身训练阶段,通过从可执行环境中采样并执行动作轨迹,让智能体根据最终观测恢复等价轨迹,从而在无需人工标注的情况下提升下游智能体强化学习性能,显著减少所需标注数据量。

在智能体驱动的数据分析中,语言模型智能体通常需要大量带标注的任务,才能学会如何与可执行环境(即数据库)进行有效交互。高质量的带标注任务需要大量人工投入,而可执行环境本身就提供了丰富的交互结构和可验证的结果。从这个意义上说,环境本身就是一顿免费午餐——一组无需人工标注即可获得的可验证任务。我们提出 EnvLunch,在下游智能体强化学习之前,先通过一个热身阶段将这种环境信号转化为智能体训练,而无需人工编写或模型生成的任务描述。EnvLunch 采样有效的动作轨迹并执行它们以获得最终观测,然后训练智能体仅根据最终观测恢复一个功能上等价的轨迹。这种无标注的热身训练使模型在所有下游训练预算下的平均表现比基线高出 9 个以上百分点;在标注极少的情况下,基线需要 8 到 32 倍的标注样本,才能达到 EnvLunch 模型在最小训练预算下所达到的准确率。让环境单独定义任务所带来的收益,比让模型在同一环境上自行编写任务还要大,而且这种热身训练还能提升在数据分析之外的基准测试上的微调效果。因此,EnvLunch 能够节省标注任务,并在标注任务有限时为微调智能体模型提供更好的起点。
查看原文
查看缓存全文

缓存时间: 2026/10/28 01:53

论文页面 - EnvLunch:环境是交互学习的免费午餐

来源:https://huggingface.co/papers/2610.33817 发布于 10 月 24 日

·

由 https://huggingface.co/thinkwee 提交

weiliu (https://huggingface.co/thinkwee) 于 10 月 27 日发布

摘要

EnvLunch 利用可执行环境生成可验证的训练轨迹,无需人工标注,从而提升智能体性能并减少下游任务对标注数据的需求。

在智能体数据分析场景中,语言模型智能体通常需要大量标注任务,才能学会如何与可执行环境(即数据库)进行有效交互。高质量的标注任务需要投入大量人力,而可执行环境本身已经提供了丰富的交互结构和可验证的结果。从这个意义上说,环境本身就提供了一顿“免费午餐“——一套无需人工标注的可验证任务。我们提出 EnvLunch,这是一个预热阶段,在下游智能体强化学习之前,将这种环境信号转化为智能体训练,无需人工编写或模型生成的任务描述。EnvLunch 采样有效的动作轨迹,执行它们以获得最终观测结果,然后训练智能体仅凭最终观测恢复出一条功能等价的轨迹。这种无标注预热使模型在所有下游训练预算下平均比基线高出 9 个以上百分点;在标注较少的情况下,基线需要 8 到 32 倍的标注样本才能达到 EnvLunch 模型在最小训练预算下所达到的准确率。让环境单独定义任务,比让模型在相同环境上自行编写任务带来更大的收益,而且这种预热方式还能改善数据分析之外的基准测试上的微调效果。因此,EnvLunch 节省了标注任务,并在标注任务有限时为智能体模型微调提供了更好的起点。

查看 arXiv 页面 (https://arxiv.org/abs/2610.33817) 查看 PDF (https://arxiv.org/pdf/2610.33817) GitHub0 (https://github.com/thinkwee/EnvLunch) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.33817)

在你的智能体中获取这篇论文:

hf papers read 2610.33817

还没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.33817,即可从此页面链接它。

引用本文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.33817,即可从此页面链接它。

引用本文的 Space0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.33817,即可从此页面链接它。

包含本文的合集0

没有合集包含这篇论文

将这篇论文添加到合集,即可从此页面链接它。

相似文章

CoworkEnv:为长时程协同智能体合成训练环境

Hugging Face Daily Papers

CoworkEnv 提出一个能力引导框架,为 AI 协同智能体合成可执行的训练环境,通过工作流引导的任务构建与程序化验证,支持 SFT 与 RL 训练紧凑的 PocketWorker 模型,在 Claw-Eval 多轮任务上取得显著提升。

EmbodiedCLBench:评估自我进化具身智能体的持续学习能力

arXiv cs.AI

本文提出EmbodiedCLBench,首个用于评估自进化智能体持续学习能力的具身仿真基准,采用组合泛化为核心评估原则。实验结果显示当前智能体虽能从基础任务经验中获益,但改进程度无法随学习样本数量有效扩展。

EAU:以用户为中心的智能体训练中的环境-智能体-用户协同演化

Hugging Face Daily Papers

EAU 是一个元智能体框架,在训练多轮 LLM 智能体时协同演化用户模拟器、环境与强化学习配置,使训练系统随策略一同进化。在三个交互式智能体基准上,EAU 比最强基线整体提升 14.7–15.0%,在 ColBench 上任务完成率最高提升 36.7%。