标签
该论文研究如何通过联合训练策略，让预训练语言模型同时支持单次前向和循环推理两种路径，在保留单次推理质量的同时获得循环计算带来的性能增益。
我们提出 TWIG（具有继承门控的树结构权重），这是一种将每个神经网络权重表示为一条共享离散决策路径终点的表示方法，将剪枝、量化、低秩分解和权重共享统一为一个可编辑对象，并可通过高阶玻尔兹曼机基态求解器进行优化。在大语言模型层误差相同的情况下，其加法运算次数比 GPTQ 减少 9–15%。
一篇由 Günter Klambauer 撰写的博客文章，提供了神经网络中循环的图解概述，追溯其历史从 Amari-Hopfield 网络到 GPT-6 Astra 的提及，并根据循环模式对各种架构进行分类。
RF-DETR提出了一种轻量级检测Transformer，通过权重共享神经架构搜索实现最先进的实时目标检测，在COCO和Roboflow100-VL上优于先前方法，同时运行速度快达20倍。