early-exit

标签

Cards List
#early-exit

选择安全的保形提前退出:自适应深度下的无分布假设覆盖保证

arXiv cs.LG ↗ · 2026-10-16 缓存

提出选择安全的共形提前退出方法,通过终端路径分数与单一分割共形分位数校准,在数据依赖的自适应深度选择下仍保持无分布假设的覆盖保证,无需 α/L 修正,并在 CIFAR-100/ImageNet 等任务上验证了路径选择相比朴素逐层选择的覆盖优势。

0 人收藏 0 人点赞
#early-exit

词汇参照系:以原生语义解读语言模型残差流

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

论文提出了词汇参照系(LexFrame)方法,通过模型自身的剩余层来读取隐状态,从而解释语言模型的隐状态,在SmolLM3-3B和OLMo3-7B上实现了接近原生水平的归因、引导和早期层退出一致性。

0 人收藏 0 人点赞
#early-exit

一次性幅度剪枝与计算自适应早退出的理论保证

arXiv cs.LG ↗ · 2026-09-14 缓存

本文提出了神经网络中一次性幅度剪枝和计算自适应早退出的理论保证,通过渐近和深度网络模型分析了计算-准确性权衡并推导了缩放定律。

0 人收藏 0 人点赞
#early-exit

稳定答案,未完成推理:为何自我共识并非安全的早期退出信号

arXiv cs.CL ↗ · 2026-09-10 缓存

该论文表明,由于存在共识与终止之间的差距,自我共识作为语言模型推理的早期退出信号是不安全的,会导致过早停止并输出错误答案。

0 人收藏 0 人点赞
#early-exit

Tevatron-Elastic:训练弹性检索器与重排序器的统一抽象

arXiv cs.CL ↗ · 2026-08-11 缓存

Tevatron-Elastic 为训练弹性检索器和重排序器提供了统一抽象,使单个检查点能够在深度、token 和宽度轴上支持多种模型规模。它统一概括了 Matryoshka 嵌入和提前退出等先前方法,并引入了用于联合 token 压缩训练的 Matryoshka LTC。

0 人收藏 0 人点赞
#early-exit

BLADE:面向高效LLM推理的边界扩展与层自适应动态退出

arXiv cs.CL ↗ · 2026-08-03 缓存

BLADE是一个轻量级框架,通过将探测检查点扩展到句子边界、自我怀疑边界和段落边界,并自适应地选择信息量大的隐藏层,来动态终止LLM推理。在Qwen3模型上的实验表明,BLADE在保持接近基线的准确率的同时,在Qwen3-8B上减少了24.8%的词元,在Qwen3-4B上减少了15.8%。

0 人收藏 0 人点赞
#early-exit

Where and When to Commit: Candidate-Aware Decoding for Diffusion Language Models

arXiv cs.CL ↗ · 2026-07-31 缓存

This paper introduces LATCH, a training-free candidate-aware early-exit framework for diffusion language models that separates when to stop from where to accelerate, achieving 9.3-17.8x speedups on short-answer tasks and 2-3.3x on long-reasoning tasks with minimal accuracy loss on LLaDA and Dream.

0 人收藏 0 人点赞
#early-exit

学习何时停止有用?推理模型早期退出的成本感知研究

arXiv cs.AI ↗ · 2026-07-01 缓存

本文介绍了LearnStop,一种用于推理模型的轻量级检查点停止器,它从在线特征中预测前缀正确性,并发现学习式停止仅在多个问题早期正确且没有单一可靠的标量信号时,才比标量规则更有价值。

0 人收藏 0 人点赞
#early-exit

一个模型,多种延迟:面向多样化实时应用的通用语音增强

Hugging Face Daily Papers ↗ · 2026-06-24 缓存

一种通用语音增强模型,通过并行卷积和提前退出机制,允许对算法延迟和计算延迟进行可配置控制,使得单一模型无需重新训练即可服务于多种实时应用。

0 人收藏 0 人点赞
#early-exit

RKSC: 面向多步LLM推理的推理感知KV缓存共享与自信提前退出

arXiv cs.LG ↗ · 2026-06-10 缓存

介绍了RKSC,一个无需训练的推理框架,用于多分支LLM推理,通过基于相似度的共享和提前退出减少KV缓存冗余,实现最高3倍加速且错误率极低。

0 人收藏 0 人点赞
#early-exit

当推理收敛时停止:保留语义的推理模型提前退出

Hugging Face Daily Papers ↗ · 2026-05-17 缓存

本文介绍 PUMA,一个即插即用框架,通过检测思维链推理中的语义冗余实现提前退出,在多个模型和基准测试中平均减少 26.2% 的 Token,同时保持准确性和推理质量。

0 人收藏 0 人点赞
#early-exit

知道何时放弃:通过多阶段飞行中拒绝实现令牌高效的LLM合成数据生成

arXiv cs.AI ↗ · 2026-05-15 缓存

本文提出了多阶段飞行中拒绝(MSIFR),一种无需训练的框架,通过在中间检查点检测并终止低质量生成轨迹来减少基于LLM的合成数据生成中的令牌浪费。在五个模型和七个基准测试中,MSIFR作为独立方法可减少11%-77%的令牌消耗,与早期退出方法结合时最多减少78.2%,同时保持或提升准确率。

0 人收藏 0 人点赞
#early-exit

在顺序训练的早退出神经网络中平衡稳定性与可塑性

arXiv cs.LG ↗ · 2026-05-08 缓存

本文针对顺序训练的早退出神经网络中的灾难性遗忘问题,提出了两种分别基于弹性权重巩固(Elastic Weight Consolidation)和无遗忘学习(Learning without Forgetting)的方法,旨在在添加新退出点的同时保留早期退出点的性能。

0 人收藏 0 人点赞
#early-exit

大模型推理的二维早退优化

arXiv cs.CL ↗ · 2026-04-22 缓存

作者提出一种二维早退方法,同时裁剪层与输入句子,在 Llama 3.1/3.2、Gemma 与 Qwen 模型的情感任务上额外获得 1.4–2.3 倍加速。

0 人收藏 0 人点赞
#early-exit

River-LLM:基于 KV 共享的大模型无感早退方案

Hugging Face Daily Papers ↗ · 2026-04-20 缓存

River-LLM 提出一种无需训练的 decoder-only 大模型早退框架,通过 KV 共享消除 KV-cache 缺口,在无损质量的前提下实现 1.71–2.16 倍推理加速。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈