fill-in-the-middle

本文提出了一种面向函数的中间填充中间训练方法，用于编码智能体基础模型，利用了函数调用与智能体动作-观察循环之间的结构相似性。该方法在SWE-Bench基准测试上，针对多种模型规模和训练后流水线均提升了性能。

本文研究填充中间（FIM）预训练对逐字记忆的影响，发现FIM更常恢复短片段，而标准的从左到右训练恢复长的精确延续，且FIM下的记忆随重复次数线性增长。

OpenAI 提出了一种简单的数据增强技术，使自回归语言模型能够执行填充中间(FIM)文本生成任务，同时不损害从左到右的性能。文章还提供了广泛的消融研究和训练此类模型的最佳实践。