标签
提出选择安全的共形提前退出方法,通过终端路径分数与单一分割共形分位数校准,在数据依赖的自适应深度选择下仍保持无分布假设的覆盖保证,无需 α/L 修正,并在 CIFAR-100/ImageNet 等任务上验证了路径选择相比朴素逐层选择的覆盖优势。
论文提出了词汇参照系(LexFrame)方法,通过模型自身的剩余层来读取隐状态,从而解释语言模型的隐状态,在SmolLM3-3B和OLMo3-7B上实现了接近原生水平的归因、引导和早期层退出一致性。
本文提出了神经网络中一次性幅度剪枝和计算自适应早退出的理论保证,通过渐近和深度网络模型分析了计算-准确性权衡并推导了缩放定律。
该论文表明,由于存在共识与终止之间的差距,自我共识作为语言模型推理的早期退出信号是不安全的,会导致过早停止并输出错误答案。
Tevatron-Elastic 为训练弹性检索器和重排序器提供了统一抽象,使单个检查点能够在深度、token 和宽度轴上支持多种模型规模。它统一概括了 Matryoshka 嵌入和提前退出等先前方法,并引入了用于联合 token 压缩训练的 Matryoshka LTC。
BLADE是一个轻量级框架,通过将探测检查点扩展到句子边界、自我怀疑边界和段落边界,并自适应地选择信息量大的隐藏层,来动态终止LLM推理。在Qwen3模型上的实验表明,BLADE在保持接近基线的准确率的同时,在Qwen3-8B上减少了24.8%的词元,在Qwen3-4B上减少了15.8%。
This paper introduces LATCH, a training-free candidate-aware early-exit framework for diffusion language models that separates when to stop from where to accelerate, achieving 9.3-17.8x speedups on short-answer tasks and 2-3.3x on long-reasoning tasks with minimal accuracy loss on LLaDA and Dream.
本文介绍了LearnStop,一种用于推理模型的轻量级检查点停止器,它从在线特征中预测前缀正确性,并发现学习式停止仅在多个问题早期正确且没有单一可靠的标量信号时,才比标量规则更有价值。
一种通用语音增强模型,通过并行卷积和提前退出机制,允许对算法延迟和计算延迟进行可配置控制,使得单一模型无需重新训练即可服务于多种实时应用。
介绍了RKSC,一个无需训练的推理框架,用于多分支LLM推理,通过基于相似度的共享和提前退出减少KV缓存冗余,实现最高3倍加速且错误率极低。
本文介绍 PUMA,一个即插即用框架,通过检测思维链推理中的语义冗余实现提前退出,在多个模型和基准测试中平均减少 26.2% 的 Token,同时保持准确性和推理质量。
本文提出了多阶段飞行中拒绝(MSIFR),一种无需训练的框架,通过在中间检查点检测并终止低质量生成轨迹来减少基于LLM的合成数据生成中的令牌浪费。在五个模型和七个基准测试中,MSIFR作为独立方法可减少11%-77%的令牌消耗,与早期退出方法结合时最多减少78.2%,同时保持或提升准确率。
本文针对顺序训练的早退出神经网络中的灾难性遗忘问题,提出了两种分别基于弹性权重巩固(Elastic Weight Consolidation)和无遗忘学习(Learning without Forgetting)的方法,旨在在添加新退出点的同时保留早期退出点的性能。
作者提出一种二维早退方法,同时裁剪层与输入句子,在 Llama 3.1/3.2、Gemma 与 Qwen 模型的情感任务上额外获得 1.4–2.3 倍加速。
River-LLM 提出一种无需训练的 decoder-only 大模型早退框架,通过 KV 共享消除 KV-cache 缺口,在无损质量的前提下实现 1.71–2.16 倍推理加速。