@dair_ai: // 代理是其自身最佳的推测者 // 代理花费大量实际时间等待工具结果。推测…

X AI KOLs Following 论文
self-speculation llm-agents tool-call-prediction reinforcement-learning latency-optimization kv-cache

摘要

加州大学圣巴巴拉分校和 LinkedIn 的新研究提出了一种自推测代理，将代理和推测者角色统一到一个模型中，通过联合代理-推测者强化学习提高了下一个工具调用预测准确率（Hit@1），同时保持了任务成功率。

// 代理是其自身最佳的推测者 // 代理将大量实际时间花在等待工具结果上。推测通过预测并预先执行下一个调用来隐藏这种延迟，但外部草稿模型和缓存轨迹建模的是不同的策略，因此它们常常预测错误，难以奏效。 加州大学圣巴巴拉分校和 LinkedIn 的新研究将这两种角色统一到一个模型中。该模型以代理模式运行以解决任务，并以推测者模式从部分轨迹预测其下一个工具调用，完全复用前缀 KV 缓存。 联合代理-推测者强化学习从代理自身的轨迹中推导推测目标，并在两种模式之间交替更新，从而避免双模式训练降低任务成功率。 对于 Qwen3-4B，下一个工具调用 Hit@1 从 44.1 升至 61.2；对于 Qwen3.5-4B，从 48.9 升至 66.3，且代理任务成功率保持不变。 论文：https://arxiv.org/abs/2607.25816 在我们的学院中学习构建高效的 AI 代理：https://academy.dair.ai
查看原文
查看缓存全文

缓存时间: 2026/07/31 04:45

// 智能体是其自身最好的推测器 // 智能体会将大量挂钟时间花在等待工具结果上。推测通过预测并预先执行下一次调用来隐藏这种延迟，但外部草稿模型和缓存轨迹建模的是不同的策略，因此它们常常失配而难以起到帮助。加州大学圣塔芭芭拉分校和 LinkedIn 的新研究将这两个角色统一到同一个模型中。该模型在智能体模式下求解任务，在推测器模式下从部分轨迹预测其下一个工具调用，并完整复用前缀 KV 缓存。联合智能体-推测器强化学习从智能体自身的轨迹中推导推测目标，并在两种模式之间交替更新，从而避免双模式训练降低任务成功率。Qwen3-4B 的下一个工具调用 Hit@1 从 44.1 提升到 61.2，Qwen3.5-4B 从 48.9 提升到 66.3，同时智能体任务成功率保持不变。 论文：https://arxiv.org/abs/2607.25816 在我们的学院学习构建有效的 AI 智能体：https://academy.dair.ai

边推理边推测：通过联合智能体-推测器强化学习教会智能体预测下一步工具调用

Source: https://arxiv.org/html/2607.25816 Jiabao Ji1 Yujian Liu1∗ Li An1∗ Rohit Jain2 Gungor Polatkan2 Siyu Zhu2 Shiyu Chang1 1University of California, Santa Barbara 2LinkedIn Inc {jiabaoji, yujianliu, li_an, chang87}@ucsb.edu

摘要

大语言模型智能体在等待工具调用结果时往往会耗费大量挂钟时间。工具调用推测可以通过预测并预先执行智能体的下一个工具调用来隐藏这种延迟——如果预测与实际工具调用完全匹配，就可以复用缓存结果。然而，现有的推测器通常是独立的草稿模型或缓存轨迹，它们与部署智能体自身行为的一致性较差。我们将这一问题称为“推测器-智能体差距”（speculator–agent gap），并表明目标智能体本身就是一个强大的下一步调用推测器。这指向一种更简单的设计：将智能体和推测器统一到同一个模型中。在本文中，我们提出了“自推测智能体”（self-speculating agent）：一个单一模型，既在智能体模式下求解任务，又在推测器模式下从部分轨迹预测其下一个工具调用，并完整复用前缀 KV 缓存。为了在不降低性能的情况下实现这种双模式智能体，我们提出了一种联合智能体-推测器强化学习方法，该方法从智能体自身的轨迹中推导推测目标，并交替进行智能体更新和推测器更新。在智能体搜索问答和对话式工具使用智能体任务上，我们的方法将 Qwen3-4B 的平均下一个工具调用 Hit@1 从 44.1 提升到 61.2，将 Qwen3.5-4B 从 48.9 提升到 66.3，同时保持智能体任务成功率。

† 这些作者贡献相同。工作完成于 Jiabao、Yujian、Li 在 LinkedIn 实习期间。

1 引言

参见图1：外部推测与自推测。上图显示了一个具有独立参数和 KV 缓存的外部草稿模型，由于推测器-智能体差距，它预测出的下一个调用与目标智能体最终发出的调用不同。下图显示了共享前缀 KV 缓存的自推测。

大语言模型（LLM）智能体通过将自然语言推理与外部工具调用交替进行来解决复杂任务，这些工具包括网络搜索引擎、数据库、代码解释器以及任务专用 API（Schick 等人，2023 (https://arxiv.org/html/2607.25816#bib.bib6)；Patil 等人，2023 (https://arxiv.org/html/2607.25816#bib.bib7)；Chen 等人，2023 (https://arxiv.org/html/2607.25816#bib.bib8)；Liu 等人，2024 (https://arxiv.org/html/2607.25816#bib.bib9)）。近期工作进一步在搜索、网页、函数调用和长程交互场景中训练和评估这类智能体（Jin 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib2)；Song 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib3)；Tan 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib4)；Qi 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib25)；Qian 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib10)；Zhang 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib11)；Liu 等人，2026 (https://arxiv.org/html/2607.25816#bib.bib39)；Luo 等人，2025 (https://arxiv.org/html/2607.25816#bib.bib14)）。这些工具通过允许智能体获取

相似文章

提升工具使用智能体速度的推测性宏提交

arXiv cs.AI

本文介绍了推测性宏提交（SMC），这是一个两层智能体系统，通过推测性地执行未来动作链并在匹配时提交它们来减少工具使用LLM智能体的延迟，从而实现比顺序执行更快的速度。

@dair_ai：关于长时程智能体的杰出论文（建议收藏）——类似人类，如何让智能体在困难任务中坚持下去？

X AI KOLs Following

AutoLab 是一个新基准测试，针对 36 个由专家精心设计的长时程任务（系统优化、模型开发、CUDA 内核、谜题），对 17 个前沿模型进行评估。研究发现，决定成功的关键因素是持久性——而非初始尝试的质量。Claude-opus-4.6 在所有类别中名列前茅，而大多数其他模型要么过早终止，要么在几乎没有进展的情况下耗尽了预算。

SpecHop: 连续推测加速多跳检索代理

arXiv cs.CL

SpecHop 是一个连续推测框架，通过维护多个推测线程并异步验证预测，加速多跳检索代理，在保持最终模型输出不变的情况下，延迟降低高达40%。