论文页面 - 后训练之前评估智能体能力：一种端到端方法

来源: https://huggingface.co/papers/2610.19425 发布于 10月14日

·

提交者 https://huggingface.co/qinjr

JR QIN (https://huggingface.co/qinjr) 于 10月21日

摘要

ASAP 是一个轻量级框架，通过交互式端到端任务评估预训练基座模型中的智能体行为，而无需将其转换为聊天智能体。

智能体能力对现代 LLM 越来越重要，但在预训练阶段仍难以评估。现有方法通常依赖静态轨迹衍生任务或基于似然的代理指标，这些方法虽然轻量，但对基座模型在交互环境中的行为观察有限。我们提出了 ASAP（Agent Scaffold Adaptation for Pretraining Evaluation，面向预训练评估的智能体脚手架适配），这是一个轻量级框架，用于在端到端任务上从预训练基座模型中引出并评估智能体行为。ASAP 不是将基座模型转换为聊天式智能体，而是保留补全（completion）接口，并通过结构化的轨迹续写、简短的参考前缀和最小化的恢复机制来适配现有的智能体脚手架。在软件工程和深度研究基准上，ASAP 在不同的基座模型和预训练检查点之间展现出了具有区分度的端到端性能。除了汇总分数之外，ASAP 还会展示模型生成的执行轨迹，从而能够分析训练各阶段中的探索、编辑、测试、恢复和任务完成情况。这些轨迹提供了行为视角，展示与智能体相关的能力在预训练期间如何变化，以及后训练之后执行模式有何不同。我们的结果表明，端到端智能体评估可以作为传统预训练基准的补充，为交互式模型行为提供实用的诊断。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19425) 查看 PDF (https://arxiv.org/pdf/2610.19425) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19425)

在你的智能体中获取这篇论文：

hf papers read 2610\.19425

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接到本文。

在模型的 README.md 中引用 arxiv.org/abs/2610.19425 即可从此页面链接。

引用本文的数据集 0

没有数据集链接到本文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.19425 即可从此页面链接。

引用本文的 Spaces 0

没有 Space 链接到本文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.19425 即可从此页面链接。

包含本文的合集 0

没有合集包含本文。

将本文添加到合集即可从此页面链接。