dynamic-exit

标签

Cards List
#dynamic-exit

BLADE:面向高效LLM推理的边界扩展与层自适应动态退出

arXiv cs.CL · 2026-08-03 缓存

BLADE是一个轻量级框架,通过将探测检查点扩展到句子边界、自我怀疑边界和段落边界,并自适应地选择信息量大的隐藏层,来动态终止LLM推理。在Qwen3模型上的实验表明,BLADE在保持接近基线的准确率的同时,在Qwen3-8B上减少了24.8%的词元,在Qwen3-4B上减少了15.8%。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈