dense-to-looped

标签

Cards List
#dense-to-looped

@arXivBangers: 闭环训练:循环语言模型的实用训练配方 新训练配方使循环语言模…

X AI KOLs Timeline ↗ · 2026-10-04 缓存

该论文提出了一套实用训练配方,将循环(递归)语言模型的训练数据量从 7.7 万亿 token 缩减至 3100 亿 token,其中 1.4B 的 LoopLM 在全部 12 个基准测试上均超越了参数量相当的稠密基线模型;论文还展示了如何以极少的额外参数,将 Qwen3-1.7B-Base 等预训练稠密模型转换为循环模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈