论文页面 - River-LLM：基于 KV 共享的大语言模型无感早退

来源：https://huggingface.co/papers/2604.18396

摘要

River-LLM 通过 KV 共享机制，在仅解码器 LLM 中实现 token 级早退，既保留历史状态又零延迟开销。

大语言模型（LLM）在诸多领域表现卓越，却受限于高推理延迟。Early Exit 通过动态跳过冗余层加速推理，但在仅解码器架构中，因“KV 缓存缺失”问题效率骤降：被跳过的层无法为后续 token 提供必要历史状态。现有方案如重算或掩码，要么带来显著延迟，要么精度骤降，难以把理论层数缩减转化为真实墙钟加速。本文提出 River-LLM，一个无需训练的框架，实现 token 级无感早退。River-LLM 引入轻量级“KV 共享退出通道”，在退出过程中自然生成并保存主干缺失的 KV 缓存，省去昂贵恢复操作。此外，我们利用解码块内的状态转移相似性预测累积 KV 误差，指导精准退出决策。在数学推理与代码生成任务上的大量实验表明，River-LLM 在保持高生成质量的同时，实现 1.71–2.16 倍的实际加速。

查看 arXiv 页面 查看 PDF 添加到收藏

在智能体中获取本文：

hf papers read 2604.18396

未安装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2604.18396 即可在此页面显示链接。

引用本文的数据集 0

暂无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2604.18396 即可在此页面显示链接。

引用本文的 Spaces 0

暂无 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2604.18396 即可在此页面显示链接。

收录本文的合辑 0

暂无合辑收录本文

新建合辑 并添加本文，即可在此页面显示链接。