标签
本文针对大语言模型在多轮对话中因信息分散而表现不佳的“迷失在对话”问题，提出了一种可扩展的分片流水线，将单轮问答数据集转化为多轮训练数据，并利用基于可验证奖励的强化学习训练一个维持紧凑滚动记忆的记忆增强策略，从而提高了多轮推理准确性，并零样本泛化到更困难的任务。
本文介绍了SeDT，一种无需训练、推理时的方法，通过用来自三种信号的累积相关性分数标注对话历史，提高多轮对话中LLM的可靠性，在Lost-in-Conversation基准测试上实现了高达+37.7%的性能提升。
本文介绍了 Found in Conversation (FiC)，一个使用视图非对称自蒸馏（View-Asymmetric Self-Distillation）的训练框架，旨在缩小 LLMs 中的多轮对话性能差距。该方法教会模型从欠详细的多轮提示中恢复单轮能力，在多种模型系列和规模上实现了 92-100% 的恢复率。