EnvLunch:将环境作为学习交互的免费午餐
摘要
EnvLunch 提出一种无标注的热身训练阶段,通过从可执行环境中采样并执行动作轨迹,让智能体根据最终观测恢复等价轨迹,从而在无需人工标注的情况下提升下游智能体强化学习性能,显著减少所需标注数据量。
查看缓存全文
缓存时间: 2026/10/28 01:53
论文页面 - EnvLunch:环境是交互学习的免费午餐
来源:https://huggingface.co/papers/2610.33817 发布于 10 月 24 日
·
由 https://huggingface.co/thinkwee 提交
weiliu (https://huggingface.co/thinkwee) 于 10 月 27 日发布
摘要
EnvLunch 利用可执行环境生成可验证的训练轨迹,无需人工标注,从而提升智能体性能并减少下游任务对标注数据的需求。
在智能体数据分析场景中,语言模型智能体通常需要大量标注任务,才能学会如何与可执行环境(即数据库)进行有效交互。高质量的标注任务需要投入大量人力,而可执行环境本身已经提供了丰富的交互结构和可验证的结果。从这个意义上说,环境本身就提供了一顿“免费午餐“——一套无需人工标注的可验证任务。我们提出 EnvLunch,这是一个预热阶段,在下游智能体强化学习之前,将这种环境信号转化为智能体训练,无需人工编写或模型生成的任务描述。EnvLunch 采样有效的动作轨迹,执行它们以获得最终观测结果,然后训练智能体仅凭最终观测恢复出一条功能等价的轨迹。这种无标注预热使模型在所有下游训练预算下平均比基线高出 9 个以上百分点;在标注较少的情况下,基线需要 8 到 32 倍的标注样本才能达到 EnvLunch 模型在最小训练预算下所达到的准确率。让环境单独定义任务,比让模型在相同环境上自行编写任务带来更大的收益,而且这种预热方式还能改善数据分析之外的基准测试上的微调效果。因此,EnvLunch 节省了标注任务,并在标注任务有限时为智能体模型微调提供了更好的起点。
查看 arXiv 页面 (https://arxiv.org/abs/2610.33817) 查看 PDF (https://arxiv.org/pdf/2610.33817) GitHub0 (https://github.com/thinkwee/EnvLunch) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.33817)
在你的智能体中获取这篇论文:
hf papers read 2610.33817
还没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型0
没有模型链接到这篇论文
在模型的 README.md 中引用 arxiv.org/abs/2610.33817,即可从此页面链接它。
引用本文的数据集0
没有数据集链接到这篇论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.33817,即可从此页面链接它。
引用本文的 Space0
没有 Space 链接到这篇论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.33817,即可从此页面链接它。
包含本文的合集0
没有合集包含这篇论文
将这篇论文添加到合集,即可从此页面链接它。
相似文章
CoworkEnv:为长时程协同智能体合成训练环境
CoworkEnv 提出一个能力引导框架,为 AI 协同智能体合成可执行的训练环境,通过工作流引导的任务构建与程序化验证,支持 SFT 与 RL 训练紧凑的 PocketWorker 模型,在 Claw-Eval 多轮任务上取得显著提升。
EmbodiedCLBench:评估自我进化具身智能体的持续学习能力
本文提出EmbodiedCLBench,首个用于评估自进化智能体持续学习能力的具身仿真基准,采用组合泛化为核心评估原则。实验结果显示当前智能体虽能从基础任务经验中获益,但改进程度无法随学习样本数量有效扩展。
@browser_use:推出 rl-env-use:适用于任何人、任何领域的强化学习环境。用一行文字描述一项技能,即可获得一个经过验证的环境……
Browser Use 宣布开源 rl-env-use:只需一行描述技能,即可自动生成基于真实案例的、经过验证的强化学习环境,适用于任意领域,可用于模型优化训练。
EnvFactory:通过可执行环境合成与鲁棒强化学习扩展工具使用智能体
EnvFactory 自动化创建可执行工具环境和自然的多轮轨迹,用于训练具有智能体强化学习能力的大语言模型,在使用比先前工作更少的环境下,在 BFCLv3 和 MCP-Atlas 等基准测试上取得了优异性能。
EAU:以用户为中心的智能体训练中的环境-智能体-用户协同演化
EAU 是一个元智能体框架,在训练多轮 LLM 智能体时协同演化用户模拟器、环境与强化学习配置,使训练系统随策略一同进化。在三个交互式智能体基准上,EAU 比最强基线整体提升 14.7–15.0%,在 ColBench 上任务完成率最高提升 36.7%。