标签
DoubtLess 提出一种免训练的对比解码方法，用一个更小的推理模型引导大模型输出更简洁的思维链，在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变，优于五个推理时基线。
LOCUS是一种任务感知低秩后训练方法，可在保持偏好对齐的同时减少语言模型的输出令牌长度，在Pythia-2.8B上实现高达39.84%的减少，且仅需最少的参数更新。
TEFM 是一个框架，通过将观测数据压缩为紧凑的行为代码令牌，减少大语言模型处理结构化数据时的令牌使用量，同时通过双保真度优化方法确保预测的忠实性。
Swift-Qwen3.8-27B 是 UkisAI 基于 Qwen3.8-27B 开发的推理高效版本，可将思考令牌减少 58.3%，同时保持几乎相同的性能。
Gemini API 中的 Agentic Video 是一项新功能，在处理长视频时将令牌消耗减少多达 88%，同时提高质量，使 Thumio 等工具能够从链接生成 YouTube 缩略图。
本文提出了一种针对LLMs的神经符号层，无需微调即可将逻辑推理准确率提高8.5%，并在长上下文任务中将令牌使用量减少超过50%。
本文介绍MusCoRe，一种颜色频率压缩协议，可将AI代理对话的令牌使用量减少71.9%，实现在无GPU依赖的低资源设备上进行潜在本地推理。
Graft 是一个免费且开源的工具，可以防止 Claude Code 的代理在每个任务中重新读取项目，大幅减少 token 消耗和时间，并且完全在本地运行。
BLADE是一个轻量级框架，通过将探测检查点扩展到句子边界、自我怀疑边界和段落边界，并自适应地选择信息量大的隐藏层，来动态终止LLM推理。在Qwen3模型上的实验表明，BLADE在保持接近基线的准确率的同时，在Qwen3-8B上减少了24.8%的词元，在Qwen3-4B上减少了15.8%。
Webfetch是一款工具，可为LLM智能体提供本地网页搜索，将令牌使用量减少87%，成本降低66%，提升效率。
本文通过实证评估，研究API-based coding agents中减少token是否能降低实际计费成本。结果表明，prompt-cache流量主导了成本构成，减少token并不能可靠地降低成本，还可能损害任务完成率。
针对Agent工具裁剪（active tool prune）的A/B测试显示：在121组Terminal Bench任务中性能略有提升（+2.48个百分点），Token消耗减少41.7%，成本降低31.6%。
一条推文批评了token缩减的潮流，同时重点介绍了Headroom，这是Netflix工程师开发的开源工具，可在本地压缩LLM载荷，降低成本高达95%。
Headroom是来自Netflix工程师的开源工具，它在本地代理中封装Cursor或Claude以压缩有效负载，无需修改代码即可将令牌使用量减少高达95%，同时保持逻辑准确性。
pi-vcc 是一个开源工具，为 Pi coding agent 提供纯算法化的会话压缩，无需 LLM 调用即可实现 35-99% 的令牌缩减，并通过 vcc_recall 支持无损历史搜索。
提出Reroute，一种无需训练的视觉语言模型插件，用可恢复的路由替代不可逆的视觉令牌剪枝，允许令牌在后续阶段重新进入流水线，从而在激进的令牌缩减下提升接地性能，同时保持VQA性能。
介绍了高效算子搜索（EOS），这是一个统一的可微分框架，将令牌缩减方法（剪枝、合并、池化、自适应重加权）泛化到共享算子空间，在预算约束下自动搜索最优算子组合。该方法在多个基准上取得有竞争力的结果，并揭示了一致的算子模式。
Vulpine是一个编译器，它将人类可读的Python代码转换为针对LLM优化的压缩宏表示，平均减少13.8%的token数，同时支持精确的结构重建。
AQuaUI是一种无需训练、推理时即用的GUI代理模型令牌减少方法，利用自适应四叉树降低截图中的空间冗余，实现了高达13.22%的加速和29.52%的视觉令牌减少，同时保留了99.06%的性能。