何时不重用:自主LLM后训练中的条件性经验转移
摘要
本文介绍了边界校准干预转移(BCIT)用于自主LLM后训练中的条件性经验转移,通过选择性重用训练证据来提高模型质量。
查看缓存全文
缓存时间: 2026/09/04 07:57
论文页面 - 知道何时不再重用:自主大型语言模型后训练中的条件经验转移
来源:https://huggingface.co/papers/2608.26730 发布于 8月27日
·
由 https://huggingface.co/spongebob0715 提交
lty (https://huggingface.co/spongebob0715)于 9月4日发布
摘要
边界校准干预转移通过检查上下文适用性并运行有界试验,选择性地重用过去的训练证据,从而在自主后训练中减少有害更新并提升最终模型质量。
大型语言模型提供了广泛的能力,但使其适应不断演变的领域、工具和要求通常需要重复的后训练。自动化系统通过提出更新建议、训练候选模型并利用评估反馈来选择后续方案,从而将这一过程部分自动化。随着证据的积累,一个核心问题浮现:在后续训练改变了基础模型之后,哪些过去的更新证据仍然有效?一个更新的效果取决于其基础模型、数据以及训练阶段。将过去的成功视为无条件重用许可会浪费计算资源。如果由此产生的候选模型被采纳,还可能破坏后续的训练轨迹。我们将此问题表述为条件经验转移,并引入边界校准干预转移,这是一种在进行权重变更训练之前授权经验重用的方法。BCIT 将观察到的效果与其来源上下文绑定,检查适用性条件,否决存在已知硬冲突的候选方案,并在需要时通过有界训练试验获取当前状态的证据。经过完全训练的候选模型仍需遵循共同的采纳规则,且只有观察到的事件会扩展记忆库。在一个分别针对金融推理、文本转SQL和函数调用进行适配的 4B 模型上,候选更新在所评估的上下文中表现出异质性的目标与保留效果。在匹配的候选方案、证据和计算资源下,BCIT 授权的有害更新更少,并且在同等计算预算下达到了比所评估替代方案更高的最终模型质量。这些结果支持将经验授权视为自主后训练中的一个独立问题。
查看 arXiv 页面 (https://arxiv.org/abs/2608.26730) 查看 PDF (https://arxiv.org/pdf/2608.26730) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.26730)
在您的智能体中获取此论文:
hf papers read 2608\.26730
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2608.26730 以从本页面链接。
引用此论文的数据集 0
没有数据集链接此论文
在数据集的 README.md 中引用 arxiv.org/abs/2608.26730 以从本页面链接。
引用此论文的空间 0
没有空间链接此论文
在空间的 README.md 中引用 arxiv.org/abs/2608.26730 以从本页面链接。
包含此论文的收藏 0
没有包含此论文的收藏
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接。
相似文章
偏离时回溯:缓解大语言模型推理蒸馏中的双重暴露偏差
本文介绍了一种名为Motab的新型大语言模型推理蒸馏流水线,通过动态监控学生生成并在偏离时回溯到安全状态并借助教师干预,同时缓解离策略和在线策略暴露偏差,取得了约3%的平均性能提升。
重新思考自进化大语言模型智能体的持续经验内化
本文研究了大语言模型智能体在多轮迭代经验内化过程中出现能力渐进式崩溃的原因,并提出了一套从经验粒度、注入模式和训练机制三个维度出发的鲁棒解决方案。主要发现包括:原则级经验、逐步注入方式以及离策略上下文蒸馏能够带来更稳定、更可持续的持续学习效果。
超越困惑度:面向LLM测试时训练中部署记忆声明的行为评估框架
本文介绍了一种行为评估框架,用于校准关于LLM测试时训练中部署时记忆的声明,提出了证据阶梯和显式基线,以弥合代理指标与行为证据之间的差距。
面向时间干预下个人LLM智能体的用户条件化评估
本文认为,评估个人LLM智能体需要跨不同的用户条件化状态重放时间干预,并指出现有基准中的空白。它提出了一个最小基准设计和用于用户条件化适应的报告指标。
重新思考LLM强化学习中的训练-推理不匹配:产生原因与纠正方法
本文引入校准重要性采样(CIS)来解决大语言模型强化学习中的训练-推理不匹配问题,改进策略更新并在数学推理基准测试上提升性能。