标签
提出了一种缓存感知的提示压缩（CAPC）方法，该方法将查询无关的压缩与缓存相结合，以降低大语言模型API的成本，在Anthropic的Sonnet API和生产工作负载上展现出显著优于现有方法的节省效果。
本文形式化了在独立成本与选择性模型下顺序过滤管道中排序过滤器的问题，证明了按成本与拒绝概率之比的升序排序是最优的。蒙特卡洛模拟表明，这种排序在期望值上以及在整个结果分布中均优于常见的启发式方法。