何时不重用:自主LLM后训练中的条件性经验转移

Hugging Face Daily Papers 论文

摘要

本文介绍了边界校准干预转移(BCIT)用于自主LLM后训练中的条件性经验转移,通过选择性重用训练证据来提高模型质量。

大语言模型提供广泛的能力,但将其适应不断变化的领域、工具和需求通常需要重复的后训练。自主系统通过提出更新、训练候选模型,并利用评估反馈选择后续提案,来自动化这一过程的部分环节。随着证据的积累,一个核心问题浮现:在后续训练改变父模型后,哪些过去的更新证据仍然有效?更新的效果取决于其父模型、数据和训练阶段。将过去的成功视为无上下文许可可能会浪费计算资源。如果生成的子模型被提升,它也可能降低后续训练轨迹的质量。我们将此问题形式化为条件性经验转移,并引入边界校准干预转移(BCIT),这是一种在权重更改训练前授权经验重用的方法。BCIT将观察到的效果绑定到其源上下文,检查适用条件,否决具有命名硬冲突的候选模型,并在需要时通过有限训练试验获取当前状态证据。完全训练的候选模型仍面临共享的采用规则,只有观察到的事件才能扩展记忆。在一个跨金融推理、text-to-SQL和函数调用适配的4B模型上,候选更新在评估上下文中表现出异质的目标和保留效果。在匹配的候选模型、证据和计算条件下,BCIT授权的有害更新更少,并在等预算下达到比所评估替代方案更高的最终模型质量。这些结果支持将经验授权视为自主后训练中的一个独立问题。
查看原文
查看缓存全文

缓存时间: 2026/09/04 07:57

论文页面 - 知道何时不再重用:自主大型语言模型后训练中的条件经验转移

来源:https://huggingface.co/papers/2608.26730 发布于 8月27日

·

由 https://huggingface.co/spongebob0715 提交

lty (https://huggingface.co/spongebob0715)于 9月4日发布

摘要

边界校准干预转移通过检查上下文适用性并运行有界试验,选择性地重用过去的训练证据,从而在自主后训练中减少有害更新并提升最终模型质量。

大型语言模型提供了广泛的能力,但使其适应不断演变的领域、工具和要求通常需要重复的后训练。自动化系统通过提出更新建议、训练候选模型并利用评估反馈来选择后续方案,从而将这一过程部分自动化。随着证据的积累,一个核心问题浮现:在后续训练改变了基础模型之后,哪些过去的更新证据仍然有效?一个更新的效果取决于其基础模型、数据以及训练阶段。将过去的成功视为无条件重用许可会浪费计算资源。如果由此产生的候选模型被采纳,还可能破坏后续的训练轨迹。我们将此问题表述为条件经验转移,并引入边界校准干预转移,这是一种在进行权重变更训练之前授权经验重用的方法。BCIT 将观察到的效果与其来源上下文绑定,检查适用性条件,否决存在已知硬冲突的候选方案,并在需要时通过有界训练试验获取当前状态的证据。经过完全训练的候选模型仍需遵循共同的采纳规则,且只有观察到的事件会扩展记忆库。在一个分别针对金融推理、文本转SQL和函数调用进行适配的 4B 模型上,候选更新在所评估的上下文中表现出异质性的目标与保留效果。在匹配的候选方案、证据和计算资源下,BCIT 授权的有害更新更少,并且在同等计算预算下达到了比所评估替代方案更高的最终模型质量。这些结果支持将经验授权视为自主后训练中的一个独立问题。

查看 arXiv 页面 (https://arxiv.org/abs/2608.26730) 查看 PDF (https://arxiv.org/pdf/2608.26730) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.26730)

在您的智能体中获取此论文:

hf papers read 2608\.26730

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.26730 以从本页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.26730 以从本页面链接。

引用此论文的空间 0

没有空间链接此论文

在空间的 README.md 中引用 arxiv.org/abs/2608.26730 以从本页面链接。

包含此论文的收藏 0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接。

相似文章

重新思考自进化大语言模型智能体的持续经验内化

arXiv cs.CL

本文研究了大语言模型智能体在多轮迭代经验内化过程中出现能力渐进式崩溃的原因,并提出了一套从经验粒度、注入模式和训练机制三个维度出发的鲁棒解决方案。主要发现包括:原则级经验、逐步注入方式以及离策略上下文蒸馏能够带来更稳定、更可持续的持续学习效果。