标签
一条推文指出,Claude Code 的大部分 token 费用来自每次编辑时重新读取整个代码库,并重点介绍了一类新工具,它们通过代码库映射、上下文剪枝和项目记忆大幅减少 token 使用量,链接文章中列出了 10 个这样的工具。
本文提出了Shapley上下文剪枝(SCP),一种用于RAG系统中上下文重排序和剪枝的合作博弈论框架。它采用Deep Sets架构和蒙特卡洛采样,高效地归因句子重要性,通过轻量级的3M参数价值网络实现了有竞争力的下游问答性能。
SWE-Pruner Pro利用编程智能体自身的内部表示来修剪长代码上下文,可节省高达39%的令牌,同时保持或提升多轮基准测试中的任务性能。
本文介绍了结构化思维(Structured Thoughts),这是一个将大语言模型推理过程组织成交替的<try>和<outcome>块的框架,实现了上下文剪枝,并在推理基准测试上将性能提升高达8.08%,同时节省了85%的内存。
Kapa.ai 描述了他们在RAG流程中的检索和生成之间添加了一个小型LLM修剪器,该修剪器丢弃了68%的上下文,同时保持了96%的召回率,将查询成本降低了三分之一。
本文评估了企业工具使用工作流中LLM代理的上下文工程配置,表明选择性修剪的摘要化相比全上下文基线实现了91.6%的准确率,同时将令牌使用量减少了60%以上。
LaMR 提出了一种针对编码代理的结构化剪枝框架,将代码相关性分解为语义证据和依赖支持两个维度,使用专用的条件随机场和混合专家门控机制,在保持或提升任务性能的同时,最多可减少 31% 的 Token 使用量。