hardware-co-design

在 PyTorchCon 2026 上，Sara Hooker（Coatue/Adaption AI）发表主旨演讲，探讨扩展更大模型的局限以及向自适应智能的转变，涵盖后训练、测试时扩展、自适应计算和硬件协同设计，并展示 AutoScientist 相关案例。

Recurrent Looped Transformer (RLT) 是一种新颖的架构，它结合了因果编码器和循环解码器，以实现具有无界时间深度的潜在推理、模型-硬件协同设计以及模型-强化学习算法协同设计。

本文介绍了 TRAM，一种联合优化近似乘法器结构和 AI 模型参数的方法，旨在降低 AI 加速器的功耗，同时保持模型精度。