FLEET：从逻辑值熵到文本生成中的增强轨迹
摘要
FLEET 在大型语言模型的文本生成中引入了一种记忆机制，使用逻辑值熵来增强轨迹，从而提高准确性并实现3倍加速，特别是在编程任务上。
查看缓存全文
缓存时间: 2026/09/24 11:39
论文页面 - FLEET：从Logits熵增强到文本生成轨迹优化
来源：https://huggingface.co/papers/2609.27657
摘要
基于大语言模型（LLMs）的解决方案通常依赖温度采样，通过聚合多个补全分布的样本来提高准确性和稳定性。然而，这种无记忆的方法本质上并非最优：由于缺乏对先前生成及其评估的感知，随着采样数量增加，语义重复答案的比例会持续上升，导致收益递减。为解决此局限，我们提出FLEET，一种将记忆机制集成到生成过程中的新方法。FLEET将每次生成表示为经过状态熵超过预设阈值的稀疏轨迹，并利用这些轨迹推断可调整logits的逐token效用分数。基准测试表明，FLEET在相同预算下不仅达到与重复采样基线相同的准确率（实现3倍加速），还在复杂编码任务上显著提升性能（LiveCodeBench Pass@32从59.9%提升至66.2%）。此外，在本文评估的贪婪解码配置下，该方法具有确定性，仅需一次校准过程即可获得主要超参数，对现有LLM流程仅需最小改动。
查看arXiv页面 (https://arxiv.org/abs/2609.27657) 查看PDF (https://arxiv.org/pdf/2609.27657) GitHub仓库 (https://github.com/Alexiush/fleet) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.27657)
通过终端工具获取此论文：
hf papers read 2609.27657
尚未安装最新CLI？执行以下命令安装：
curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型（0个）
暂无模型关联此论文
在模型README.md中引用 arxiv.org/abs/2609.27657 即可从本页面建立链接
引用此论文的数据集（0个）
暂无数据集关联此论文
在数据集README.md中引用 arxiv.org/abs/2609.27657 即可从本页面建立链接
引用此论文的交互空间（0个）
暂无交互空间关联此论文
在空间README.md中引用 arxiv.org/abs/2609.27657 即可从本页面建立链接
包含此论文的收藏集（0个）
暂无收藏集收录此论文
将此论文添加至收藏集 (https://huggingface.co/new-collection) 即可建立页面链接
相似文章
ExTra：面向语言模型强化学习的探索性轨迹优化
ExTra 引入了面向语言模型强化学习的探索性轨迹优化，结合新颖性奖励和熵引导的前缀重生成，在数学推理基准上同时提升单样本准确率和推理时覆盖率。
轨迹即师：通过能量导航蒸馏实现少步离散流匹配
本文介绍了轨迹塑造离散流匹配（TS-DFM），该方法以引导式导航取代盲目随机跳跃，显著提升了文本生成效率并降低了计算成本。与传统多步基线相比，该方法在保持推理成本不变的同时，实现了更低的困惑度和更快的速度。
快速分叉：高效估计文本生成中的不确定性动态
本文提出一种统计模型，用于高效估计文本生成中的不确定性动态，平滑嘈杂的重采样数据，以在保持LLM推理链分析准确性的同时显著降低计算成本。
归一化轨迹模型
本文介绍了归一化轨迹模型（NTM），这是一种基于扩散生成的新颖方法，它将反向步骤建模为具有精确似然训练的有条件归一化流。NTM 仅需四个步骤即可实现高质量的文本到图像生成，同时保留了似然框架，在标准基准测试中优于基线方法。
当新生成器到来：基于岭特征迁移的终身机器生成文本归因
本文提出RidgeFT，一个轻量级的分析更新框架，用于终身机器生成文本归因，能够适应新的文本生成器而不遗忘旧的，在多个评估设置中取得了强劲性能。