prompt-caching

标签

Cards List
#prompt-caching

Fable 5 使得代理构建者必须采用成本感知模型路由

Reddit r/AI_Agents · 8小时前

Anthropic 发布了 Fable 5,这是一款价格高昂的强大新模型,由于令牌扇出和高输出成本,使得成本感知路由对代理构建者来说至关重要。

0 人收藏 0 人点赞
#prompt-caching

我如何在长时间智能体运行中轻松减少约90%的输入token消耗

Reddit r/AI_Agents · 2026-06-01

作者分享了一个实用技巧,通过提示缓存(prompt caching)在长时间智能体运行中将输入token成本降低约90%:将不变文本(系统提示、工具定义、上下文)放在每个提示的开头,以利用LLM提供商的缓存前缀。

0 人收藏 0 人点赞
#prompt-caching

测量了执行相同任务的4个代理运行时的令牌消耗。成本从1倍到4倍不等,取决于缓存架构

Reddit r/AI_Agents · 2026-05-27

对四个代理运行时(Claude Code、OpenClaw、Hermes 和 OpenClacky)在相同任务上的令牌消耗进行比较显示,相对于 Claude Code,成本从0.8倍到4倍不等,这由缓存架构和工具模式设计的差异驱动。

0 人收藏 0 人点赞
#prompt-caching

@freeman1266: 通过优化策略和模型路由,将每月数千美元的 AI 编程成本大幅削减 80% 如果低效的上下文管理和盲目使用高昂模型,将会使账单飞涨。 通过实施提示词缓存、精简上下文文件以及修复工具调用的自动循环,开发者可以显著减少无效的 Token 消耗。…

X AI KOLs Timeline · 2026-05-26

本文介绍了通过提示词缓存、精简上下文、多模型路由(将日常编码任务交给Kimi 2.6,核心架构用高级模型)等策略,将AI编程成本削减80%的实用技巧。

0 人收藏 0 人点赞
#prompt-caching

@pallavishekhar_: 如何减少AI代理中的Token使用?我们来理解一下。AI代理使用LLM进行思考、规划和推荐工具。每一步…

X AI KOLs Timeline · 2026-05-22 缓存

本帖子分享了减少AI代理中Token使用的策略,包括提示缓存、上下文摘要、使用较小模型、修剪工具输出、子代理、RAG以及紧凑的系统提示。

0 人收藏 0 人点赞
#prompt-caching

@nateherk: https://x.com/nateherk/status/2057450555212013627

X AI KOLs Timeline · 2026-05-21 缓存

一份实用指南,解释Claude Code中的提示缓存工作原理,如何将Token成本降低90%,以及常见的破坏缓存的习惯,帮助开发者延长会话时长并降低成本。

0 人收藏 0 人点赞
#prompt-caching

降低LLM API成本的10种方法

Reddit r/AI_Agents · 2026-05-20

一份实用指南,列出了使用LLM API时降低成本的10种策略,包括模型选择、提示缓存、批处理以及监控费用。

0 人收藏 0 人点赞
#prompt-caching

@akshay_pachaar: RAG vs. CAG,清晰解释!RAG 很棒,但有一个主要问题:每次查询都命中向量数据库,即使是静态数据也是如此……

X AI KOLs Following · 2026-05-19 缓存

解释了缓存增强生成(CAG)作为一种将静态知识直接缓存到模型 KV 内存中的方法,与传统 RAG 相比,可降低延迟和成本,并展示了如何将两者结合以获得最佳性能。

0 人收藏 0 人点赞
#prompt-caching

每个AI提示都需花费成本——这改变了一切

Reddit r/AI_Agents · 2026-05-18

文章认为,AI的真正挑战不仅在于构建更智能的模型,更在于以规模化的方式降低成本效率,强调了减少token使用、提升速度以及优化基础设施的重要性。

0 人收藏 0 人点赞
#prompt-caching

Tokenomics:Claude缓存的62.5分钟法则(8分钟阅读)

TLDR AI · 2026-05-18 缓存

对Anthropic为Claude提供的提示缓存的成本分析得出62.5分钟的盈亏平衡规则:如果你预计在62.5分钟内再次需要缓存,请刷新它,否则让它过期以节省成本。

0 人收藏 0 人点赞
#prompt-caching

@0xMovez:Anthropic产品负责人刚刚发布了一堂28分钟的大师课,讲解如何将智能体投入实际生产应用……

X AI KOLs Timeline · 2026-05-13

Anthropic产品负责人发布了一堂免费的28分钟大师课,讲解了如何将AI智能体投入生产,内容包括提示缓存、工具搜索、程序化工具调用、压缩和顾问策略。

0 人收藏 0 人点赞
#prompt-caching

@gneubig: "AI Agent成本背后的数学原理" Vasco Schiavo在@OpenHandsDev撰写的清晰教程,解释了为什么agent可能很昂贵

X AI KOLs Following · 2026-05-13 缓存

Vasco Schiavo撰写的一篇教程,解释了AI Agent成本背后的数学原理,重点讨论了为什么agent可能很昂贵以及提示缓存的重要性。

0 人收藏 0 人点赞
#prompt-caching

提示缓存,但用于 RL 训练——在长提示/短回复负载上实现 7.5 倍加速

Reddit r/LocalLLaMA · 2026-05-11

一种面向开源 RL 训练引擎的全新优化技术在训练过程中引入了提示缓存,通过减少冗余计算,在长提示、短回复负载场景下实现了高达 7.5 倍的加速。

0 人收藏 0 人点赞
#prompt-caching

Anthropic 表示 OpenClaw 风格的 Claude CLI 使用方式再次获准

Hacker News Top · 2026-04-21 缓存

# Anthropic - OpenClaw 来源:[https://docs.openclaw.ai/providers/anthropic](https://docs.openclaw.ai/providers/anthropic) ## Anthropic (Claude) Anthropic 开发了 **Claude** 模型系列,并通过 API 和 Claude CLI 提供访问。在 OpenClaw 中,Anthropic API 密钥和 Claude CLI 重用都被支持。如果已配置,现有遗留的 Anthropic token 配置文件在运行时仍会被识别。 ## 选项 A:Anthropic API 密钥 **最佳适用场景:** 标准 API 访问和按用量计

0 人收藏 0 人点赞
#prompt-caching

API 中的提示词缓存

OpenAI Blog · 2024-10-01 缓存

OpenAI 推出提示词缓存功能,这是一项自动特性,通过在 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 模型上重用最近缓存的输入令牌,可将 API 成本降低 50% 并改善延迟。该功能会自动应用于超过 1,024 个令牌的提示词,无需开发者进行集成更改。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈