recurrent-depth

本文评估了在13个临床NLP数据集上进行联合微调的小型循环深度语言模型（Ouro-1.4B/2.6B-Thinking、HRM-Text-1B），发现它们在大多数任务上表现优于或持平于同等规模的Qwen3 Transformer模型，尤其是在推理和问答任务上。

这篇论文提出 SanSi 方法，通过让小型决策模型（如 Ouro-1.4B）循环复用相同层数次推理，在多项决策任务上显著超越同规模单次前向模型，甚至超过 3 倍大的单遍模型，展示了循环深度小模型在内存受限场景下的潜力。

讨论 Universal Reasoning Model (URM) 与 Universal Transformer (UT) 通过深度上的循环计算等增强，能否在小规模从零训练下超越标准 Transformer 大模型，并追问前沿实验室是否已将其整合进前沿模型。

论文提出了 LOOM，一种面向循环混合专家（Looped MoE）模型的可扩展配方，通过残差缩放与输入重注入来稳定循环过程，同时利用逐循环路由器（per-loop routers）提升专家使用的多样性，实现了稳定扩展至 9-12 次循环，并在 100M-1.7B 参数规模的模型上改善了困惑度与零样本准确率。

一篇全面的文章，解释了 AI 中的循环 Transformer 和递归深度，包括成本权衡以及它们是否隐藏推理痕迹，配有图表和近期研究的综述。

OpenAI 的新 Astra 模型使用一种名为不透明递归的推理技术，这使思维链监控变得复杂，并引发了 AI 安全专家对潜在错位风险的担忧。

OpenAI 的 Astra 模型据说使用循环变换器架构以增强性能，但这可能会降低内部推理的可读性。据指出，它已达到关键网络安全能力阈值。

OpenAI推出Astra，一款利用循环深度实现静默内部推理的AI模型。

本文探索了如何以微创方式将循环深度改造进预训练语言模型（如Qwen2.5-0.5B），证明所得模型能够执行更深的潜在推理，外推到受监督深度之外，并优于为在token中推理而微调的稠密模型，同时也揭示了灾难性干扰的极限。

本文介绍CHERRY，一套用于计算高效语言模型的技术，包括选择性令牌监督、通过循环展开的深度压缩以及混合压缩专家，在韩语基础模型上取得了显著的效率提升。