@a1zhang: 好的封装设计可以在信息结构化的前提下绕过极高的 token 成本。真的没必要每次都把……

X AI KOLs Following 2026/06/15 21:10 新闻

token-cost harness-design structured-information rlm-agent efficiency ai-optimization context-management

摘要

讨论如何通过结构化信息而非将所有内容都输入语言模型的上下文来降低 token 成本，并以一个 RLM 代理处理大量日志行但只使用少量活跃 token 为例。

好的封装设计可以在信息结构化的前提下绕过极高的 token 成本。真的没必要每次都把所有内容都输入语言模型的上下文。我们长期以来一直错误地将简单粗暴地把所有内容塞入上下文与‘苦涩教训’式的规模扩展混为一谈。一个好的封装设计能起到很大的作用！

查看原文

查看缓存全文

缓存时间: 2026/06/15 23:08

优秀的数据管道设计能够在信息结构化的前提下规避极端令牌成本。实际上，我们完全无需将所有内容一股脑塞进语言模型的上下文。

很长一段时间里，我们错误地将这种“野蛮投喂”的做法与「苦涩教训」式的规模扩展混为一谈。一个好用的数据管道设计能发挥巨大作用！

diego 🧞♂️ (@diblacksmith): 我的 RLM agent 可以轻松一次性处理约 8 万行来自 CloudWatch 的服务日志

这相当于 800 万令牌的价值。

最酷的是，在 53 步之后，它只花费了 3.2 万“活跃“令牌*（此时尚未完整处理全部 800 万，大约完成了一半）。

这点开销根本不算什么。