layer-ordering

标签

Cards List
#layer-ordering

Library of Layers (LoL):推理时动态排序 Transformer 层

Hugging Face Daily Papers ↗ · 6天前 缓存

论文提出了 Library of Layers (LoL),一种在推理时动态重排其层的 Transformer 架构,统一了稠密(dense)、深度递归(depth-recurrent)与 MoE 等基线在参数复用与稀疏性之间的权衡,并在推理、多语言和安全任务上实现了可解释的路由。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈