@tunguz:这是一个重要原因。非LLM推理任务的时间只会增加。然而,工具…
摘要
一篇文章指出,现代自主编码中42%的时间用于基于CPU的工具使用,效率低下,这为重新设计面向AI代理的工具提供了巨大机遇。
这是一个重要原因。非LLM推理任务的时间只会增加。然而,这些AI系统使用的工具*非常*低效,并且是从头开始为CPU和人类使用而构建的。那里有一个巨大的未开发机会,可以以AI代理为出发点,从底层显著改进这些流程。
查看缓存全文
缓存时间: 2026/05/24 00:13
以下是一个重要原因。非LLM推理任务所耗费的时间只会不断增加。然而,这些AI系统所使用的工具非常低效,且是从头为CPU和人类使用场景构建的。这其中存在一个巨大的、未被开发的机遇:从一开始就以AI智能体为核心,大幅改进这些流程。
SemiAnalysis (@SemiAnalysis_): 事实警报🚨:在现代智能体编程中,42%的时间花费在CPU上,用于工具使用,例如编辑文件、运行Bash脚本、运行代码检查等。传统云计算经济的计费方式是按每CPU核心收费。而在智能体经济中,商业模式是按……
相似文章
LLMs 与表演式生产力
一位开发者反思使用 AI 代理的经历,并质疑表面上的生产力提升是真实的还是仅仅是表演性的,指出虽然任务完成得更快,但深层理解和真正价值可能会丢失。
@JiaZhihao: 我认为这归结为一个经典的系统权衡:通用性与专业化。vLLM/SGLang 覆盖了巨大的…空间
这篇文章讨论了AI推理引擎中通用性与专业化的权衡,以vLLM和SGLang为例,并指出编码代理正在降低创建专用引擎的工程成本。
@bentlegen: 要做出*真正*好的软件,你必须大量使用它,但许多人现在花在编程智能体/工厂里的时间比花在他们正在构建的应用上的还要多……
开发者 Ben Tlegen 指出,构建真正优秀的软件需要大量的亲身使用,但他警告说,许多开发者现在花在 AI 编程智能体里的时间比花在他们正在构建的实际应用上的还要多。
并非所有AI代理都相同:特征化资源与性能动态
本文特征化了基于LLM的AI代理在诸如问答和编码等任务中的资源与性能动态,揭示了瓶颈并提出了可将延迟改善高达5.4倍的优化方案。
@levie:代理已经占据了推理的大部分。这将很快在未来一年内趋向于几乎所有的推理……
这条推文声称,AI代理现在主导了推理流量,预计这一趋势将加速,导致代理全天候执行大量任务并消耗大量令牌。