@levie: 大型企业中出现的一个普遍趋势是,token 预算成为一个重要议题。随着代理能够执行越来越多耗时较长的任务……
摘要
本文探讨了企业中 token 预算这一新兴趋势,强调随着 AI 代理消耗大量计算资源,需要新的管理工具。文章指出,这将创造出一个初创企业机会,即提供软件解决方案以对代理式支出进行可视化和控制。
在大型企业中,一个日益普遍的趋势是 token 预算成为一个重要议题。随着 AI 代理能够执行越来越多耗时较长的任务,因此消耗的计算资源大幅增加,跨团队的 token 分配在企业中变得切实可行。企业会花费大量时间来决定在人才、营销 campaign、活动、笔记本电脑配置甚至午餐成本上的支出。token 的管理也不会例外。token 同样需要得到极其精细的管理,因为你需要确保不会超出预算,并且需要确保 token 流向工作最高价值且最有用的部分。你不想发现你把月度预算花在了相对低价值的事情上,然后在后来更高价值的任务上受阻。在大型公司规模下做到这一点极其困难,因为你对数据的抽象层以及对代理所执行的数字工作的可见性缺乏集中的方式。这意味着代理式支出将越来越超出 IT 预算的范围,最终会像其他费用一样进入组织预算。最终,团队和组织领导必须为此分配预算,但大多数情况下,他们甚至没有足够的可见性和控制权。我们将需要全新的软件来解决这个问题,这本身可能就是一个初创企业的机会。这将是一个全新的企业资源分配时代,尤其是在我们计算资源受限的情况下。
相似文章
@levie: Token成本将成为企业未来AI应用中的主导话题。刚与许多Fortu…
Token成本正成为企业采用AI的关键关注点,CIO们难以管理不同模型和用例的开支。OpenAI宣布推出Guaranteed Capacity以解决长期计算资源获取问题。
@rohanpaul_ai: 高盛:"AI代理的Token使用量预计到2030年将增长24倍" AI代理正在创造首个…
高盛预测,到2030年,人工智能代理的Token使用量将增长24倍,并引用成本担忧,Uber和微软正在重新考虑使用昂贵的代理,凸显了人工智能繁荣的一个关键挑战。
Token消耗狂飙正成为一类生产事故。你如何为AI代理费用设置上限?
AI代理导致Token消耗失控,使超支成为一类生产事故。文章列举了诸如一位工程师130万美元的OpenAI账单以及Uber在四个月内烧掉全年AI预算等案例,并向社区询问如何为代理费用设置上限。
你们究竟是如何降低 Agent 系统成本的?
本文探讨了 AI Agent 系统在成本优化和 FinOps 方面面临的挑战,指出了 Token 账单不可预测、缺乏细粒度归因工具等问题,并提到了缓存和硬性限制等应对策略。
你的AI战略是在烧钱还是创造资本?
本文批判了当前企业中的AI狂热,由于Token滥用等低效使用方式,飙升的成本往往超过投资回报率。文章倡导同时关注组织流畅性和算法成本降低(例如观察掩码),从而将AI从资本消耗者转变为价值创造者。