TokenCast：预测LLM代理执行期间的Token消耗

Hugging Face Daily Papers 论文
llm-agents token-forecasting cost-estimation agent-execution composable-model evaluation

摘要

TokenCast学习可组合的成本表示来预测LLM代理执行中的Token使用量，减少预测误差并在预算控制场景中节省Token。

当大语言模型（LLM）代理执行相同任务时，不同运行中的Token消耗可能相差超过一个数量级。代理根据工具反馈和中间结果选择下一步，而不断增长的上下文会稳定地增加每次后续调用的输入大小。因此，任务的总消耗在执行前难以预测，且预测必须随着运行的展开而修正。在本文中，我们提出了TokenCast，它为每个执行段学习一个可组合的成本表示，记录其自身的消耗和引入的上下文增长。组合相邻段会产生一个累积估计，捕获当早期段的上下文被每个后续调用重新读取时产生的额外输入成本。随着执行展开，新观察到的证据会刷新预测，无需额外的LLM调用，在SWE-bench Verified上每次运行的平均累积预测时间为32.8毫秒。在4个任务集和6个代理模型中，TokenCast相对于最强比较器的平均绝对误差降低在96个评估组合中平均为14.5%。在离线预算控制重放中，TokenCast在匹配的轨迹完成度上平均使用比固定预算策略少21.3%的Token。代码可在 https://github.com/DEFENSE-SEU/TokenCast 获取。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:16

论文页面 - TokenCast：预测LLM智能体执行过程中的Token消耗量

来源：https://huggingface.co/papers/2609.35760 发布于9月28日

·

由https://huggingface.co/LeoYML提交

Leo Y (https://huggingface.co/LeoYML) 于9月29日发布

摘要

当一个大型语言模型（LLM）智能体执行同一任务时，不同运行之间的Token消耗量可能相差超过一个数量级。智能体根据工具反馈和中间结果选择下一步操作，而不断增长的上下文会持续膨胀每一次后续调用的输入规模。因此，任务的总消耗量在执行前很难预测，并且必须随着运行的展开而不断修正。在本文中，我们提出了TokenCast，它为每个执行段学习一个可组合的成本表示，记录其自身的消耗以及它所引入的上下文增长。组合相邻的段可以得到一个累积估计，该估计捕获了当早期段的上下文被后续每次调用重新读取时所产生的额外输入成本。随着执行的展开，新观察到的证据会刷新预测，无需额外的LLM调用，在SWE-bench Verified上的平均每次运行累积预测时间仅为32.8毫秒。在4个任务套件和6个智能体模型上，与最强的比较基准相比，TokenCast在96个评估组合中的平均绝对误差降低了14.5%。在离线预算控制回放中，在完成的追踪轨迹匹配的情况下，TokenCast平均使用的Token比固定预算策略少21.3%。代码可在https://github.com/DEFENSE-SEU/TokenCast获取。

查看 arXiv 页面 (https://arxiv.org/abs/2609.35760) 查看 PDF (https://arxiv.org/pdf/2609.35760) GitHub 0 (https://github.com/DEFENSE-SEU/TokenCast) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.35760)

在你的智能体中获取此论文：

hf papers read 2609.35760

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.35760，即可从本页链接到该模型。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.35760，即可从本页链接到该数据集。

引用此论文的 Spaces 0

暂无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.35760，即可从本页链接到该 Space。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接到它。

相似文章

Token Forecaster

Product Hunt

Token Forecaster 是一款开源工具，可在执行前预测大语言模型（LLM）响应的长度，并实时监控。它基于本地历史数据提供准确性。

一个 Token 值多少算力？基于 Mixture-of-Agents 测量大模型的每 Token 充分算力

arXiv cs.AI

本文利用由 Qwen、OLMo 和 R1-distilled 系列共 15 个模型组成的 Mixture-of-Agents 评审面板，测量了大模型的每 Token「充分算力」。研究发现，一个 0.5B 的小模型即可复现参考模型 92%–95% 的输出 Token，而成本最高的 10% Token 却占用了 64%–80% 的 FLOPs。由此得到的每 Token 算力分布图将模型路由延迟从 7.59 秒降低至 5.12 秒，并使推测式草稿生成所需的草稿 Token 数比固定窗口基线减少 32.6%。

并非所有Token都平等：面向代理型LLM系统的通胀感知路由

arXiv cs.CL

本文介绍了InflationAgent，这是一个为代理型LLM设计的路由系统，它能测量Token通胀，使用思维链分支熵（CoT Branching Entropy）预测任务难度，并优化模型选择以最大化成本精度比，在如GSM8K等基准测试中，以更少的Token实现更高的准确率。