论文页面 - 当智能体变慢时：通过Elo-per-token分析理解LLM智能体的测试时策略

来源：https://huggingface.co/papers/2609.15309

摘要

Elo-per-token分析揭示，LLM智能体最初比独立采样扩展得更快但最终会放缓，而并行短会话相比单次长会话能提升性能。

大型语言模型（LLM）智能体在修正解决方案、使用工具、探索替代方案以及决定何时停止时，会自适应地分配测试时计算资源。这种测试时策略使得衡量智能体性能的扩展变得困难。我们研究了开放式任务，这些任务为中间提交提供连续分数，使得在长轨迹中能够持续观察进展。我们提出了Elo-per-token分析，它追踪每个token预算下找到的最佳解决方案，并使用Bradley-Terry模型将任务内排序聚合成跨不同分数尺度任务的Elo评分。我们将该方法应用于四个通用智能体在四个开放式基准测试上的表现，会话长度可达1亿token，以及三个反馈驱动的LLM优化框架在受控单任务干预中的应用。独立采样提供了理论上表征的参考基准，其Elo随对数计算量线性增长。相比之下，智能体最初能将token转换为Elo的效率高于独立采样，但其边际收益逐渐减少并最终低于参考基准。相反，在共享的AtCoder Heuristic Contest任务中，最强的人类历史参赛者能在竞赛时间内实现超线性改进，这证明了持续学习的存在以及智能体放缓后仍存在显著的提升空间。我们定义了缩放拐点，即边际Elo增益与独立采样参考基准匹配的每会话预算。以该点作为每会话预算，我们在FrontierCS Polyomino Packing任务上将1亿token分配到多个并行会话中，相比单次长会话获得+264 Elo，相比十个短会话获得+355 Elo。

查看arXiv页面 (https://arxiv.org/abs/2609.15309) 查看PDF (https://arxiv.org/pdf/2609.15309) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.15309)

引用此论文的模型0

无模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2609.15309 即可从此页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2609.15309 即可从此页面链接。

引用此论文的空间0

无空间链接此论文

在空间的README.md中引用 arxiv.org/abs/2609.15309 即可从此页面链接。

包含此论文的合集0

无合集包含此论文

将此论文添加至合集 (https://huggingface.co/new-collection) 即可从此页面链接。