标签
本文介绍MusCoRe,一种颜色频率压缩协议,可将AI代理对话的令牌使用量减少71.9%,实现在无GPU依赖的低资源设备上进行潜在本地推理。
Graft 是一个免费且开源的工具,可以防止 Claude Code 的代理在每个任务中重新读取项目,大幅减少 token 消耗和时间,并且完全在本地运行。
BLADE是一个轻量级框架,通过将探测检查点扩展到句子边界、自我怀疑边界和段落边界,并自适应地选择信息量大的隐藏层,来动态终止LLM推理。在Qwen3模型上的实验表明,BLADE在保持接近基线的准确率的同时,在Qwen3-8B上减少了24.8%的词元,在Qwen3-4B上减少了15.8%。
Webfetch是一款工具,可为LLM智能体提供本地网页搜索,将令牌使用量减少87%,成本降低66%,提升效率。
本文通过实证评估,研究API-based coding agents中减少token是否能降低实际计费成本。结果表明,prompt-cache流量主导了成本构成,减少token并不能可靠地降低成本,还可能损害任务完成率。
针对Agent工具裁剪(active tool prune)的A/B测试显示:在121组Terminal Bench任务中性能略有提升(+2.48个百分点),Token消耗减少41.7%,成本降低31.6%。
一条推文批评了token缩减的潮流,同时重点介绍了Headroom,这是Netflix工程师开发的开源工具,可在本地压缩LLM载荷,降低成本高达95%。
Headroom是来自Netflix工程师的开源工具,它在本地代理中封装Cursor或Claude以压缩有效负载,无需修改代码即可将令牌使用量减少高达95%,同时保持逻辑准确性。
pi-vcc 是一个开源工具,为 Pi coding agent 提供纯算法化的会话压缩,无需 LLM 调用即可实现 35-99% 的令牌缩减,并通过 vcc_recall 支持无损历史搜索。
提出Reroute,一种无需训练的视觉语言模型插件,用可恢复的路由替代不可逆的视觉令牌剪枝,允许令牌在后续阶段重新进入流水线,从而在激进的令牌缩减下提升接地性能,同时保持VQA性能。
介绍了高效算子搜索(EOS),这是一个统一的可微分框架,将令牌缩减方法(剪枝、合并、池化、自适应重加权)泛化到共享算子空间,在预算约束下自动搜索最优算子组合。该方法在多个基准上取得有竞争力的结果,并揭示了一致的算子模式。
Vulpine是一个编译器,它将人类可读的Python代码转换为针对LLM优化的压缩宏表示,平均减少13.8%的token数,同时支持精确的结构重建。
AQuaUI是一种无需训练、推理时即用的GUI代理模型令牌减少方法,利用自适应四叉树降低截图中的空间冗余,实现了高达13.22%的加速和29.52%的视觉令牌减少,同时保留了99.06%的性能。
本文介绍 PUMA,一个即插即用框架,通过检测思维链推理中的语义冗余实现提前退出,在多个模型和基准测试中平均减少 26.2% 的 Token,同时保持准确性和推理质量。
LOOP技能引擎通过记录单次LLM驱动的执行,并通过参数化无分支技能进行确定性回放,实现了周期性AI代理任务99%的成功率和99%的代币削减,消除了随机性失效和高昂成本。
腾讯AI团队开源了Agent记忆系统,通过实时上下文压缩、Mermaid任务地图和Persona记忆三种方法,显著提升长对话中的token效率和agent一致性,token消耗降低61%,人格一致性从48%提升至76%。
本文提出了一种名为“提示微调”(Hint Tuning)的数据高效方法,该方法根据问题难度校准推理深度,从而减少推理模型中的标记使用量。在仅需1K个自标注样本的情况下,该方法在 Qwen3-Thinking 和 DeepSeek-R1-Distill 等模型上实现了显著的标记减少(24%-66%)。
AVR是一种自适应视觉推理框架,能够动态选择最优推理格式,在视觉推理任务中减少50-90%的token使用量同时保持准确性。该方法通过将视觉推理分解为三种认知功能并使用FS-GRPO训练来鼓励高效格式选择,从而解决推理路径冗余问题。
RTK 是一个高性能的 CLI 代理,可在命令输出到达 LLM 上下文之前对其进行过滤和压缩,从而将 token 消耗减少 60-90%,且开销极低。