attention-state-adaptive-generation

标签

Cards List
#attention-state-adaptive-generation

@sheriyuo: 本文提出ASAG, Attention-State Adaptive Generation, 一个无需训练、即插即用的推理停止框架,用于推理…

X AI KOLs Timeline · 昨天 缓存

ASAG利用注意力熵来检测推理何时无效益,提前停止以提高准确率并减少token生成。在Qwen3-8B上的实验显示,准确率提升4.4%,生成的token减少超过40%。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈