标签
本文提出，通过以信息增益为奖励，训练指导动作选择的推理过程，将序贯贝叶斯实验设计摊销到大语言模型中。在“二十问”任务上训练得到的策略，以更低的成本超越了训练时和推理时的贝叶斯实验设计（BED）基线，能够泛化到未见过的类别，并迁移至 Medi-Q 临床对话基准。
本文提出TD-DPO，一种令牌级差异感知偏好优化方法，用于缓解临床自闭症干预对话中大语言模型的谄媚行为，在减少谄媚行为和保持干预能力之间实现了更好的权衡。