@rohanpaul_ai: 该论文提出利用编码代理自身的内部表示来去除无关的工具输出行，无需...

该论文提出利用编码代理自身的内部表示来去除无关的工具输出行，无需单独的剪枝模型。 SWE-Pruner Pro 读取模型的最后一层隐藏状态，并将每个工具输出行标记为保留或移除。 编码代理会反复读取文件、日志和搜索结果，然后将大量未使用的文本带入后续轮次。 SWE-Pruner Pro 增加了一个小型分类器，该分类器读取隐藏状态、模型的内部摘要，并将每一行标记为保留或剪枝。 长度感知信号使其对短输出更加温和，而平衡的训练损失则保护了罕见但重要的行。 团队仅在 22,609 个带标签的工具响应上训练了这个新增的头部，而保持编码 LLM 本身不变。 在 2 个开放模型和 4 个多轮基准测试中，它将令牌使用量减少了高达 39%，同时大部分保持了质量。 在 MiMo-V2-Flash 上，它还使一个编码基准提高了 3.8%，一个长上下文测试提高了 2.2 个百分点。 结果表明，编码代理已经包含足够的相关性信息来管理上下文，而无需单独的剪枝模型。 – arxiv.org/abs/2607.18213 标题：“SWE-Pruner Pro：编码 LLM 已经知道该剪枝什么”