@tunguz：这是一个重要原因。非LLM推理任务的时间只会增加。然而，工具…

X AI KOLs Following 新闻
agentic-coding ai-agents tooling efficiency cpu-inference

摘要

一篇文章指出，现代自主编码中42%的时间用于基于CPU的工具使用，效率低下，这为重新设计面向AI代理的工具提供了巨大机遇。

这是一个重要原因。非LLM推理任务的时间只会增加。然而，这些AI系统使用的工具*非常*低效，并且是从头开始为CPU和人类使用而构建的。那里有一个巨大的未开发机会，可以以AI代理为出发点，从底层显著改进这些流程。
查看原文
查看缓存全文

缓存时间: 2026/05/24 00:13

以下是一个重要原因。非LLM推理任务所耗费的时间只会不断增加。然而，这些AI系统所使用的工具非常低效，且是从头为CPU和人类使用场景构建的。这其中存在一个巨大的、未被开发的机遇：从一开始就以AI智能体为核心，大幅改进这些流程。

SemiAnalysis (@SemiAnalysis_): 事实警报🚨：在现代智能体编程中，42%的时间花费在CPU上，用于工具使用，例如编辑文件、运行Bash脚本、运行代码检查等。传统云计算经济的计费方式是按每CPU核心收费。而在智能体经济中，商业模式是按……

相似文章

LLM代理已经知道何时调用工具——甚至无需推理

Hugging Face Daily Papers

本文介绍了When2Tool，一个研究LLM代理实际何时需要调用工具的基准，并揭示模型已从隐藏状态知道工具的必要性但未能采取行动。提出的Probe&Prefill方法将不必要的工具调用减少了48%，且精度损失极小。

AI智能体

Reddit r/AI_Agents

分析高盛研究，对比AI智能体与人类在编码、支持和数据录入方面的成本，并预测token消耗增长及推理成本下降。讨论生产力提升、岗位替代及医疗健康领域的机遇。

面向低延迟多智能体工具调用的有状态推理架构

arXiv cs.LG

本文提出了一种用于多智能体工具调用的有状态推理架构，该架构在多次调用之间复用KV缓存，并采用推测解码技术，相较于vLLM和SGLang，在智能体工作流上实现了2.1倍至4.2倍的加速。