论文页面 - 早期问题的计算结果能否帮助 LLM 解决新问题？

来源: https://huggingface.co/papers/2609.39394

摘要

大型语言模型经常在同一段对话中解决相互独立的问题。早期问题的计算结果能否帮助它们解决新问题？为回答这个问题，我们首先进行了初步实验，结果表明保留的历史内容会提高或降低后续轮次的准确率，即便在相同领域内也是如此。为了理解这些效应，我们使用受控重放（controlled replay）来隔离每个问题-历史配对所特有的内部状态变化。在不同的历史条件下，这些变化在当前问题之间保留了相似的关系。为了在保留历史的条件下改进推理能力，我们提出了 STAIR（Stale-Token Attention for Inter-query Reuse，跨查询重用的过时词元注意力）。STAIR 从早期的回答生成过程中捕获 key 和 value，并将它们存储在固定的存储库（bank）中。它学会将当前查询定向到该存储库，使其在提示词处理阶段读取这些存储的内容。基础模型保持冻结，仅训练了 12,288 个参数。在三个 Qwen 模型和四个基准测试上，STAIR 相比使用历史的未修改模型，将平均后续轮次准确率最高提升了 11.67 个百分点。

查看 arXiv 页面 (https://arxiv.org/abs/2609.39394)查看 PDF (https://arxiv.org/pdf/2609.39394)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.39394)

在你的 agent 中获取此论文：

hf papers read 2609.39394

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.39394 即可从此页面链接该论文。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.39394 即可从此页面链接该论文。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.39394 即可从此页面链接该论文。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接该论文。