@levie: 大型企业中出现的一个普遍趋势是,token 预算成为一个重要议题。随着代理能够执行越来越多耗时较长的任务……
摘要
本文探讨了企业中 token 预算这一新兴趋势,强调随着 AI 代理消耗大量计算资源,需要新的管理工具。文章指出,这将创造出一个初创企业机会,即提供软件解决方案以对代理式支出进行可视化和控制。
在大型企业中,一个日益普遍的趋势是 token 预算成为一个重要议题。随着 AI 代理能够执行越来越多耗时较长的任务,因此消耗的计算资源大幅增加,跨团队的 token 分配在企业中变得切实可行。企业会花费大量时间来决定在人才、营销 campaign、活动、笔记本电脑配置甚至午餐成本上的支出。token 的管理也不会例外。token 同样需要得到极其精细的管理,因为你需要确保不会超出预算,并且需要确保 token 流向工作最高价值且最有用的部分。你不想发现你把月度预算花在了相对低价值的事情上,然后在后来更高价值的任务上受阻。在大型公司规模下做到这一点极其困难,因为你对数据的抽象层以及对代理所执行的数字工作的可见性缺乏集中的方式。这意味着代理式支出将越来越超出 IT 预算的范围,最终会像其他费用一样进入组织预算。最终,团队和组织领导必须为此分配预算,但大多数情况下,他们甚至没有足够的可见性和控制权。我们将需要全新的软件来解决这个问题,这本身可能就是一个初创企业的机会。这将是一个全新的企业资源分配时代,尤其是在我们计算资源受限的情况下。
相似文章
@levie: Token成本将成为企业未来AI应用中的主导话题。刚与许多Fortu…
Token成本正成为企业采用AI的关键关注点,CIO们难以管理不同模型和用例的开支。OpenAI宣布推出Guaranteed Capacity以解决长期计算资源获取问题。
@levie: 刚刚结束与几十位企业IT领导者关于AI智能体的会议。以下是几个常见的…
与数十位企业IT领导者讨论AI智能体的会议中提炼出的共同主题总结,涵盖运营模式挑战、数据碎片化、定义数据护城河、AI采纳的衡量指标、多模型策略、人才短缺以及转型用例等。
你在生产环境中如何对多个AI智能体处理Token预算?
关于在生产环境中部署多个AI智能体时管理Token预算策略的讨论,涵盖成本与效率考虑。
@levie: 要继续获得大规模智能体采用,最佳方式是持续降低智能成本…
Levie认为,降低人工智能(token)成本是扩大智能体大规模采用的关键,并预测未来大多数信息工作将涉及智能体,同时提到开放和封闭模型均在创新。
@levie: 这里有一些关于AI令牌成本优化的良好最佳实践。但如果没有深入理解,这些都无法实现……
一条推文讨论了AI令牌成本优化的最佳实践,认为企业需要深入了解工作流程和架构才能最大化投资回报率,这对应用型AI公司来说是一个重大机遇。