@DeRonin_: Andrej Karpathy: “你 90% 的 AI 编程账单都花在了不需要发送的上下文上” 以下是资深 A…

X AI KOLs Timeline 新闻

摘要

这篇文章总结了 Andrej Karpathy 关于通过优化上下文使用、避免为简单任务使用过于强大的模型以及实施高效的路由策略来降低 AI 编程成本的建议。

Andrej Karpathy: “你 90% 的 AI 编程账单都花在了你根本不需要发送的上下文上” 以下是资深 AI 工程师不再浪费 token 的 10 件事: 1. 自动加载 50 个文件来修复 30 行代码:每次交互花费 $1.20 用于你永远不会阅读的 token。每次会话浪费 80% 的输入。 2. 在 lint、格式化和重命名任务上运行 Opus:Haiku 能以 $0.02 完成的工作,你却花了 $0.60。在清理任务层级上多付了 30 倍的费用。 3. 在每次重试时重新发送完整仓库的工具调用循环:每个智能体流程的上下文成本增加 5 倍。仅修复这些问题就能削减 30-50% 的账单。 4. 将 Sonnet 作为默认模型:Kimi 2.6 在大多数编程任务上的质量与之相当,但成本仅为 1/6。在 2026 年仍将 Sonnet 设为默认模型意味着你将 60-70% 的成本留在了桌上。 5. 在稳定前缀工作流程中使用流式响应:这会破坏你的提示缓存。你为那些本该只花几美分的 token 支付了 10 倍的费用。 6. “以防万一”的文件包含:本该只有 3,000 token 的提示膨胀到了 80,000 token。上下文膨胀是预算的隐形杀手。 7. 每次会话重新构建知识库:花 10 分钟编写一次 SKILL.md,而不是支付费用让智能体在每次运行时重新摸索你的环境。每次执行 $4 vs $0.30。 8. 单一模型设置:在当前 AI 编程中,每个任务都使用高级模型是最昂贵的错误。 9. 逐个提出 10 个小问题:10 次单独的输入前缀收费 vs 一次批量调用。在常规工作流程上节省 70-90% 的成本。 10. 购买 Claude Pro + ChatGPT Plus + Cursor Pro:你实际上只认真使用其中一个。另外两个是习惯,而非实用工具。 真正产生复利效应的是: - 上下文纪律(在获取之前始终使用 grep) - 在每个稳定前缀上使用提示缓存 - 多模型路由(Kimi 2.6 作为默认,Opus 用于 10% 的情况) - 通过 SKILL.md 文件实现逐步提升的技能 - 在优化提示之前对工具调用进行性能剖析 - 路由思维(为正确的任务选择正确的模型) 在 12 个月内,在每月 $200 预算和 $4,000 预算下交付项目的开发者之间的差距将不再是技能问题,而是他们路由能力的高低。研究这一点。
查看原文

相似文章

每个AI提示都需花费成本——这改变了一切

Reddit r/AI_Agents

文章认为,AI的真正挑战不仅在于构建更智能的模型,更在于以规模化的方式降低成本效率,强调了减少token使用、提升速度以及优化基础设施的重要性。