标签
该论文提出了一个可复现的离线评估框架,用于在生产环境中不断变化的企业数据上评测对话智能体,并将该框架作为 GEPA 提示优化的适应度函数,在正确性约束下将提示压缩 3.5–7.6%,同时不降低任务准确率。
论文提出 CQ2-CARE 方法,在固定 token 预算下为编码智能体选择完整文件而非压缩或检索片段,从而在 SWE-rebench 上显著提升问题修复率,超过压缩器、检索器及专用训练方法。
本文介绍了一种用于大型语言模型词汇提示压缩的无需训练、确定性处理流程,包含十一个任务类别的实证帕累托分析。
本文提出了HSDN,一种分层语义蒸馏网络,用于压缩金融任务中的思维链推理,在AFAC2025基准测试中实现了91.0%的准确率和68.4%的压缩率。
本文对十种语言的抽取式提示压缩器进行了审计,揭示了经过英语训练的模型在高压缩率下对非英语文本存在显著性能差距,并提出了一种更有效的“先翻译再压缩”流程作为替代方案。
IterCOMP 是一个无需训练的提示压缩框架,通过迭代整合关键证据来提高多跳问答的效率和准确性。
本文识别了硬提示压缩中的一种结构性失败,称为“指称悬空”,即独立评分会拆散相互依赖的证据对,移除了解释保留答案所需的上下文。实验表明,这种现象影响多种压缩器和数据集,而自动恢复缺失的指称可提高问答准确率。
本文介绍了 SkillSV,一个结构感知的 Shapley 风格框架,用于对智能体技能的内部单元进行估值,并考虑依赖关系和层次结构。它在智能体基准上展示了更好的忠实度、可操作性和解释质量。
本文提出仅使用语言规则作为提示压缩器,无需LM前向传递,在轻度到中度压缩下达到与先进策略相似的性能。
提出了一种缓存感知的提示压缩(CAPC)方法,该方法将查询无关的压缩与缓存相结合,以降低大语言模型API的成本,在Anthropic的Sonnet API和生产工作负载上展现出显著优于现有方法的节省效果。
本文在率失真框架下统一了大语言模型和智能体中的内存压缩技术,提出了一个用于评估不同层压缩的分类法和基准。
本文提出通过中间层激活的学习加权和将指令提示压缩为单个激活向量,准确率下降低于2%,并揭示了对LLM激活空间结构的洞察。
本文提出RAGP,一种提示压缩方法,将文本建模为多重图,并利用莱维游走进行冗余感知的图剪枝,在LongBench上取得了优于现有基于LLM的压缩方法的性能。
本文系统性地探究了在LLM解码过程中,何时以及提示KV缓存的哪些部分变得可舍弃,表明冗余主要涉及聊天模板脚手架而非任务内容,并且用中性填充内容进行替换可保持准确性。
AGORA 引入了一种用于LLM代理的无推理步骤级提示压缩器,避免了令牌级压缩器的'动作语法破坏'失效模式。它通过结构解析器、始终保留底限以及学习的相关性评分器,在9个环境中的8个(跨骨干网络)保留了≥75%的未压缩性能。
本文介绍了 MedTPE,一种针对大语言模型电子健康记录的高效无损提示压缩方法,可显著降低临床预测任务中的词元长度和推理延迟。